本书系作者根据多年教学实践经验编著而成。书中主要介绍了香农信息论的基本概念、基本方法和主要结果，并用基本的概率论工具阐述香农信息论的基本思想和基本方法。全书共分5章：第1章是绪论；第2章介绍了概率统计的基础知识；第3章介绍了信息量化的基本理论——熵及其性质；第4章介绍了信源的编码理论和方法，香农提出的典型列集合的概念在编码理论中起着至关重要的作用；第5章介绍了离散无记忆信道的容量和编码定理。本书可作为高等学校信息与计算科学专业以及信息类专业的教材，也可作为相关课程的教学参考书。

本书是为高等学校信息与计算科学专业本科生编写的教材。内容包括概率论的基础知识，香农提出的有关信息量化的基本概念、方法和定理，以及信源的基本编码理论和信道的基本编码理论。

本书可作为高等学校信息与计算科学专业以及信息类专业的教材，也可作为相关课程的教学参考书。

前言

第1章 绪论

第2章 概率统计的基础知识

　2.1 概率空间

　2.2 条件概率

　2.3 独立性

　2.4 随机变量

　　2.4.1 随机变量的基本性质

　　2.4.2 随机变量的独立性

　2.5 随机变量的数字特征

　　2.5.1 离散型

　　2.5.2 连续型

　2.6 大数定律

　习题2

第3章 离散信源的熵和信息量

　3.1 离散信源

　3.2 事件的互信息

　3.3 条件互信息和联合事件的互信息

　3.4 事件的自信息

　3.5 离散随机变量的平均自信息——熵

　3.6 熵的性质

　3.7 香农熵的公理化定义

　3.8 随机变量的鉴别信息和平均互信息

　　3.8.1 随机变量的鉴别信息

　　3.8.2 随机变量的互信息

　3.9 马尔可夫链和数据处理定理

　3.10 连续随机变量的互信息和微分熵

　　3.10.1 连续随机变量的互信息

　　3.10.2 连续随机变量的熵——微分熵

　　3.10.3 微分熵的极大化

　3.11 凸函数和互信息的凸性

　　3.11.1 凸函数的概念和性质

　　3.11.2 Kuhn-Tucker条件

　　3.11.3 互信息的凸性

　3.12 平稳离散信源

　　3.12.1 平稳离散信源的一般概念

　　3.12.2 平稳信源的熵

　　3.12.3 马尔可夫信源的熵

　习题3

第4章 离散信源的无错编码

　4.1 渐近等同分割性和离散无记忆信源的等长编码

　　4.1.1 渐近等同分割性

　　4.1.2 离散无记忆信源的等长编码

　4.2 离散无记忆信源的不等长编码

　　4.2.1 Kraft不等式

　　4.2.2 不等长编码定理

　　4.2.3 最佳不等长编码(Huffman编码)

　　4.2.4 其他不等长编码

　4.3 平稳信源和马尔可夫信源的编码定理

　　4.3.1 平稳信源的编码

　　4.3.2 马尔可夫信源的编码定理

　习题4

第5章 离散无记忆信道的容量和编码定理

　5.1 离散无记忆信道及其容量

　　5.1.1 信道容量的定义和举例

　　5.1.2 对称离散无记忆信道容量的计算

　　5.1.3 转移概率矩阵可逆信道的容量计算

　　5.1.4 离散无记忆信道容量的迭代计算

　5.2 信道的组合

　　5.2.1 积信道(平行组合信道)

　　5.2.2 和信道

　　5.2.3 级联信道

　5.3 离散无记忆信道的编码定理

　　5.3.1 几个有关定义

　　5.3.2 联合典型列对

　　5.3.3 信道编码定理

　习题5

参考文献