本书较为系统地论述信息理论和编码的基础知识，内容包括绪论、信息的度量、离散信源及其信源编码、离散信道及其信道编码、连续消息和连续信道、限失真信源编码、差错控制的基本概念、线性分组码、卷积码、信道编码新进展简介(包括Turbo码、空时分组码、低密度奇偶校验码、网络编码与协作)等。每章后面都附有思考题和习题。全书针对本科教学的特点，力求深入浅出，把严密的数学语言、合理的物理解释和丰富的应用实例相结合，将经典理论介绍和最新研究成果相结合，便于学生自学。
样章试读
目录
- 目录
前言
常用符号
第1章 绪论 1
1.1 通信系统的基本单元 1
1.2 信息科学的有关概念 2
1.2.1 信息的特征 2
1.2.2 信息理论要解决的基本问题 3
1.2.3 信息论的创始人 4
1.2.4 信息科学的定义及迅速发展的背景 4
1.2.5 信息理论的研究内容 4
1.3 香农信息论梗概 5
思考题 6
第2章 信息的度量 7
2.1 度量信息的基本思路 7
2.1.1 单符号离散信源 7
2.1.2 自信息量 7
2.2 信源熵和条件熵 9
2.2.1 信源熵 9
2.2.2 条件自信息量 10
2.2.3 条件熵 11
2.3 互信息量和平均互信息量 11
2.3.1 互信息量 11
2.3.2 互信息量的性质 12
2.3.3 条件互信息量 13
2.3.4 平均互信息量 14
2.3.5 平均互信息量的性质 14
2.3.6 平均互信息量的物理意义 16
2.4 多维随机变量的熵 18
2.4.1 熵的链接准则 18
2.4.2 信息链接准则 18
2.4.3 熵的界 19
2.4.4 数据处理不等式 19
本章小结 20
思考题 21
习题 21
第3章 离散信源及其信源编码 23
3.1 信源分类 23
3.1.1 信源分类方法 23
3.1.2 自然语信源 24
3.1.3 马尔可夫信源 26
3.2 离散信源的熵 28
3.2.1 发出单符号消息离散无记忆信源的熵 28
3.2.2 发出符号序列消息离散无记忆信源的熵 29
3.2.3 发出符号序列消息的离散有记忆信源的熵 30
3.2.4 发出符号序列消息的马尔可夫信源的熵 32
3.2.5 各种离散信源的时间熵 32
3.3 信源的冗余度 34
3.3.1 最大信源熵 35
3.3.2 信源的冗余度 35
3.4 信源编码及其描述 37
3.4.1 信源编码模型 37
3.4.2 编码效率 38
3.5 单义可译定理 41
3.5.1 单义可译码 41
3.5.2 即时码的构造 42
3.5.3 单义可译定理 42
3.5.4 平均码长界定定理 44
3.6 香农第一定理 46
3.6.1 无失真信源编码 46
3.6.2 等长码的信源编码 48
3.7 信源编码实例 49
3.7.1 费诺编码方法 49
3.7.2 霍夫曼编码方法 51
3.7.3 Lempel-Ziv编码 53
本章小结 56
思考题 56
习题 56
第4章 离散信道及其信道编码 60
4.1 信道的分类 60
4.2 离散信道的传输特性 61
4.2.1 无扰离散信道的传输特性 61
4.2.2 有扰离散信道的传输特性 62
4.2.3 几种特殊的有扰离散信道 64
4.2.4 消息在有扰离散信道上的信息传输速率 66
4.2.5 有扰离散信道的信道容量 66
4.3 译码准则 72
4.3.1 常用的译码准则 73
4.3.2 关于译码准则的讨论 75
4.4 香农第二定理 76
4.4.1 信道编码与平均错误译码概率 76
4.4.2 汉明距离与编码原则 77
4.4.3 有扰离散信道的信道编码定理 78
本章小结 79
思考题 80
习题 80
第5章 连续消息和连续信道 83
5.1 连续消息的信息度量 83
5.1.1 基本思路 83
5.1.2 几种连续信源的相对熵 85
5.1.3 条件熵 89
5.1.4 平均互信息量 90
5.1.5 连续消息熵的性质 92
5.1.6 最大相对熵定理 92
5.1.7 熵功率和熵功率不等式 95
5.2 连续消息在信道上的传输问题 97
5.3 香农信道容量公式 98
5.3.1 高斯信道的信道容量 98
5.3.2 带限信道的信道容量 99
5.3.3 香农公式的含义 100
本章小结 101
思考题 101
习题 102
第6章 限失真信源编码 104
6.1 失真函数和平均失真度 104
6.1.1 失真函数 104
6.1.2 平均失真度 107
6.2 信息率失真函数 109
6.2.1 保真度准则 109
6.2.2 失真许可的试验信道 110
6.2.3 信息率失真函数及其性质 110
6.2.4 几种典型信源的信息率失真函数 113
6.3 保真度准则下的信源编码定理 116
本章小结 117
思考题 118
习题 118
第7章 差错控制的基本概念 120
7.1 差错控制系统的分类 120
7.1.1 自动请求重传系统 120
7.1.2 前向纠错系统 122
7.1.3 信息重复查询系统和混合纠错系统 123
7.2 纠错编码的分类及其性能评价 124
7.2.1 纠错编码的分类 124
7.2.2 纠错码的基本概念 125
7.2.3 纠错编码方法的性能评价 128
本章小结 130
思考题 130
习题 131
第8章 线性分组码 132
8.1 有关概念 132
8.1.1 线性分组码的定义及其性质 132
8.2 线性分组码的编码和译码 135
8.2.1 线性分组码的编码 135
8.2.2 线性分组码译码 136
8.2.3 线性分组码举例 141
8.3 循环码的描述 141
8.3.1 循环码的定义 142
8.3.2 循环码的性质 143
8.3.3 生成矩阵和一致校验矩阵 147
8.4 循环码的编码和译码 148
8.4.1 循环码的编码 148
8.4.2 循环码的译码 150
8.4.3 循环码的检错能力 152
8.4.4 循环码的缩短与扩展 153
8.5 二元BCH码 154
8.5.1 BCH码的描述 154
8.5.2 BCH码的编码和译码 157
8.6 多元BCH码和R-S码 159
8.7 纠突发错误码 160
8.7.1 纠突发错误码的定义及基本性质 160
8.7.2 交织码 161
本章小结 163
思考题 164
习题 165
第9章 卷积码 168
9.1 卷积码的编码及其描述 168
9.1.1 卷积码的编码 168
9.1.2 卷积码的描述 170
9.2 卷积码的最大似然译码 178
9.2.1 Viterbi译码 178
9.2.2 序列译码 180
9.3 卷积码的性能评估 186
9.3.1 译码的错误扩展及恶性卷积码 186
9.3.2 卷积码的自由距离 187
本章小结 189
思考题 189
习题 189
第10章 信道编码新进展简介 192
10.1 Turbo码 192
10.1.1 Turbo码的编码及其性能 192
10.1.2 Turbo码的译码简介 194
10.2 空时分组码 195
10.2.1 正交空时分组码 195
10.2.2 正交空时分组码的译码 197
10.2.3 准正交空时分组码 197
10.2.4 准正交空时分组码的译码 198
10.3 低密度奇偶校验码 199
10.3.1 低密度奇偶校验码的定义 199
10.3.2 低密度奇偶校验码的译码 200
10.4 网络编码与协作 205
10.4.1 网络编码 205
10.4.2 网络编码协作 207
本章小结 208
思考题 208
习题 209
参考文献 210
索引 213
京公网安备 11010102004214号