现代通信原理现代通信原理（第（第3版）版）第第6 6章章 编码技术编码技术本章学习要求：了解：单个消息的信息量度量方式掌握：模拟信源、离散信源发出消息所携带的平均信息量熵的计算公式和方法掌握：通信的两个主要技术指标有效性和可靠性掌握：香农公式了解：源编码和信道编码的概念了解：改善系统两大指标的措施压缩信源消息中的冗余来提高有效性以及增加冗余码元来提高可靠性掌握：两种最佳信源编码方法，即霍夫曼编码和香农范诺编码法了解：通过汉明码和循环码阐明信道的可靠性编译码思路及过程6 61 1 信源编码信源编码 6 61 11 1 信息的度量信息的度量 1.信源的不肯定度就是信源提供的信息量；信源的不肯定度越高，信宿得到的信息量就越大。2.设信源发出某消息 的概率为 ，用 表示消息 提供信息量，则定义：=称 为消息 的自信息量.6112 离散信源的平均信息量熵 1.信源熵-信源输出一个消息所提供的平均信息量，即信源的不肯定度.2.对 于 二 元 离 散 信 源，若 出 现 0、1的 概 率 分 别 为 ，那么，该信源的熵为：只有当 时，取最大值，即 。当或 时，取最小值0。3.具有N个符号的离散独立信
