1普通高等教育“ 十五” 国家级规划教材信息论与编码第2 章 信源与信息熵n n 信源描述与分类n n 离散信源的信息熵和互信息n n 离散序列信源的熵n n 连续信源的熵与互信息n n 冗余度2普通高等教育“ 十五” 国家级规划教材信息论与编码2.1信源的描述与分类n n 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性。因此，信源是产生随机变量、随机序列和随机过程的源。n n 信源的基本特性是具有随机不确定性。3普通高等教育“ 十五” 国家级规划教材信息论与编码2.1信源特性与分类n n 分类 时间时间 离散离散 连续连续 幅度幅度 离散离散 连续连续 记忆记忆 有有 无无 三大类：三大类： 单符号离散信源单符号离散信源 符号序列信源（有记忆和无记忆）符号序列信源（有记忆和无记忆） 连续信源连续信源4普通高等教育“ 十五” 国家级规划教材信息论与编码2.1 信源描述与分类n n 描述：通过概率空间描述u u单符号离散信源单符号离散信源 例如：对二进制数字与数据信源例如：对二进制数字与数据信源5普通高等教育“ 十五” 国家级规划教材信息论与编码2.1 信
