信息论期末复习 1第一章 概述 l 信息论的创始人：美国科学家香农 l 1948 年发表 “ 通信的数学理论”，标志着信息论的 诞生 2l 信息的概念 l 1. l 2. l 3. l 4. 3l 信息论的研究对象 l 信息论的研究目的 4l 信息的一些重要性质 存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性 可压缩性 可扩散性 可替代性 可共享性 时效性 信息的 独有性质 5l 信息论的研究范围 l 经典信息论（狭义信息论、香农信息论） l 一般信息论 l 广义信息论 主要研究信息的测度、信道容量、信息率失真函数， 与这三个概念相对应的香农三定理以及信源和信道编码。 主要是研究信息传输和处理问题。除了香农基本理论之外， 还包括噪声理论、信号滤波和预测、统计检测与估计理论、 调制理论。后一部分内容以美国科学家维纳（NWiener ） 为代表。 概括说来，凡是能够用广义通信系统模型描述的过程或系 统，都能用信息基本理论来研究。 6第二章 离散信源及其信息测度 l 信源的数学模型及分类 7l 自信息 l 信息熵 8l 条件熵 l 联合熵 9l 信息熵的基本性质 10
