第七章 信源与信源编码 彭涛 7.1 引言 n 信源编码：去掉信源输出中的冗余信息 ，提供有效性 n 内容 n 信源分类及其统计特性 n 信息熵，信源剩余度 n 互信息，各类熵与互信息的关系 n Huffman 编码7.2 信源分类及其统计特性描 述 n 信源分类 n 连续/ 模拟信源 n 离散/ 数字信源 n 重点研究7.2 信源分类及其统计特性描 述 n 单消息（符号）离散信源 n 只输出一个离散符号 n 统计特性描述7.2 信源分类及其统计特性描 述 n 离散消息（符号）序列信源 n 输出一个离散消息（符号）序列 n 统计特性描述7.2 信源分类及其统计特性描 述 n 离散消息（符号）序列信源 n 离散无记忆序列信源：序列中前后符号相互 统计独立 n 离散有记忆序列信源：序列中前后符号不是 相互统计独立的 n 可用马尔可夫链表示7.3 信息熵H(X) n 信息的基本特征：不确定性。因此信息应该是 概率P 的函数 n 信息的两个特点 n 随概率P 的递减性：概率越大，信息量越小 n 可加性：两个独立消息的总信息量应是两个消息的 信息量的和 n 满足这两个条件的表示信息量的函数只有一
