信息论复习提纲第一章绪论1通信系统模型；2香浓信息的概念；3信源、信道、信源编码和信道编码研究的核心问题。第二章离散信源及信源熵1离散信息量、联合信息量、条件信息量、互信息量定义；2信源熵、条件熵、联合熵定义；3平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4最大信源熵定理及证明；5本章所有讲过的例题；第三章离散信源的信源编码1信息传输速率、编码效率定义；2最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；3码组为即时码的充要条件；4.单义可译定理（Kraft不等式）及应用；5费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6. 本章所有讲过的例题；第四章离散信道容量1.利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2本章讲过的例题；第五章连续消息和连续信道1相对熵的定义；2均匀分布、高斯分布、指数分布的相对熵及证明；3峰值功率受限条件下的最大熵定理及证明
