信息论是研究信息传输和信息处理过程中的一般规律的一门学科，也是现代信息通信领域的一门基础理论。本书以香农的3个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。本书是作者根据多年教学经验编著而成的。鉴于目前学生可选择的课程越来越多，每门课的学时数不会很大，因此本书只讲述经典香农信息论的内容，而没有涉及过多分支。

第1章 绪论
1.1 信息的概念
1.2 信息论的研究对象、目的和内容
第2章 信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 平均自信息
2.2.1 平均自信息的概念
2.2.2 熵函数的性质
2.2.3 联合熵与条件熵
2.3 平均互信息
2.3.1 平均互信息的概念
2.3.2 平均互信息的性质
2.3.3 数据处理定理
习题2
第3章 信源及信源熵
3.1 信源的分类及其数学模型
3.2 离散单符号信源
3.3 离散多符号信源
3.3.1 离散平稳无记忆信源
3.3.2 离散平稳有记忆信源
3.3.3 马尔可夫信源
3.3.4 信源的相关性和剩余度
3.4 连续信源
3.4.1 连续信源的微分熵
3.4.2 连续信源的最大熵
3.4.3 连续信源的熵功率
习题3
第4章 信道及信道容量
4.1 信道的分类
4.2 离ＡＺ散单符号信道及其信道容量
4.2.1 离散单符号信道的数学模型
4.2.2 信道容量的概念
4.2.3 几种特殊信道的信道容量
4.2.4 离散对称信道的信道容量
4.2.5 一般离散信道的信道容量
4.2.6 信道容量定理
4.2.7 信道容量的迭代算法
4.3 离散多符号信道及其信道容量
4.4 组合信道及其信道容量
4.4.1 独立并联信道
4.4.2 级联信道
4.5 连续信道及其信道容量
4.5.1 连续随机变量的互信息
4.5.2 高斯加性信道的信道容量
4.5.3 多维高斯加性信道的信道容量
4.6 波形信道及其信道容量
习题4
第5章 无失真信源编码
5.1 信源编码的相关概念
5.1.1 编 码 器
5.1.2 码的分类
5.2 定长码及定长编码定理
……
第6章 有噪信道编码
第7章 限失真信源编码
附录A 上机作业
附录B 数学预备知识

信息论是研究信息传输和信息处理过程中一般规律的一门学科,也是现代信息科学和通信科学领域的一门基础理论,因此目前各高等院校相关专业的本科生.研究生都开有信息论这门专业基础课..
本书是作者参考借鉴了众多国内外优秀的信息论教材及参考书之后根据多年教学实践的经验编著而成的.鉴于目前学生可选择的课程越来越多,而每门课的学时数较少,因此本书只讲述了经典香农信息论的内容,而没有涉及过多的分支.本书可作为通信.电子.计算机专业本科生教材使用,也可作为相关专业科研人员的参考书.
在本书以香农的3个编码定理为中心,重点讲述了相关的基本概念.基本原理和基本方法,力图以读者最易接受的方式介绍信息论的基本内容及应用...
本书一共分为7章,外加两个附录.第1章绪论主要介绍香农信息论的研究对象.目的和内容等,第2章介绍关于信息度量的几个重要概念：自信息.互信息.信息熵及平均互信息以及数据处理定理,第3章研究定量度量信源产生信息的能力和度量信源冗余度的问题,第4章研究定量描述信道传递信息能力的问题,并介绍了几种特殊信道的信道容量的计算方法,第5章的核心内容是香农的无失真信源编码定理,围绕这个定理介绍了无失真信源编码的基本概念,讲解了定理的基本内容及其证明,另外还讲述了几种实用的无失真信源编码算法,第6章讲述香农的有噪信道编码定理以及纠错编码,涉及信道编码的基本概念.基本技巧和基本理论知识,同时较为详细地讲述了纠错编码的有关知识,第7章介绍香农的第三编码定理——限失真信源编码定理,引入了信息率失真函数的概念并介绍了信息率失真函数的性质以及计算方法,最后介绍了几种常用的熵压缩编码算法,附录A为上机作业,附录B是学习本课程需要用到的一些数学预备知识.
第1章到第4章由李梅编写,其余各章由李亦农编写.
由于作者能力所限,难免有疏漏之处,敬请读者赐教....
作者
2004年5月