1、第四章 信源及信源熵 主要内容： 如何描述信源 (信源的数学建模问题 )； 如何定量描述信源输出信息的能力； 怎样有效地表示信源输出的消息，也就是信源编码问题。第一节 信源的分类及其数学模型根据信源输出的消息在 时间 和 取值 上的离散或连续进行分类，如下表所示：此外，还可以根据各维随机变量的概率分布是否随时间的推移而变化，将信源分为平稳信源和非平稳信源。根据随机变量之间是否统计独立，将信源分为有记忆信源和无记忆信源。实际信源分类如下：第二节 离散单符号信源输出 离散取值 的 单个符号 的信源称为离散单符号信源，它是最简单、最基本的信源，是组成实际信源的基本单元，用一个离散型随机变量表示。信源
2、所有可能输出的消息和消息所对应的概率共同组成的二元序 对称为信源的概率空间。信源输出的所有消息的自信息的统计平均值定义为信源的平均自信息量 (信源熵 )，它表示离散信源的 平均不确定性 。例 1： 二元信源 ，求 。第三节 离散多符号信源前面介绍的单符号信源是最简单的信源模型，用一个离散随机变量表示。实际信源输出的往往是符号序列，称为 离散多符号信源 ，通常用离散随机变量序列 (随机矢量 )来表示： 。例如，电报系统发出的是一串有无脉冲的信号 (有脉冲表示 1，无脉冲表示 0)，因此电报系统是输出一串 0、 1序列的二元信源。为简单起见，这里只研究 离散平稳信源 ，也就是 统计特性不随时间改变
3、的信源 。定义： 对于离散随机变量序列 在任意两个不同时刻 ， ( 为大于 1的任意整数 )，信源发出的消息序列的 概率分布完全相同 ，即对于任意的 ， 具有相同的概率分布，也就是即 各维联合概率分布 均与 时间起点无关 的信源称为 离散平稳信源 。 由上述定义以及联合概率与条件概率的关系可得，于是，容易推出对于离散单符号信源，用信息熵来表示信源的平均不确定性。对于离散多符号信源，怎样表示信源的平均不确定性呢？我们引入熵率的概念，它表示信源输出的符号序列中，平均每个符号所携带的信息量。定义： 随机变量序列中，对前 N个随机变量的联合熵求平均：称为 平均符号熵 。如果当时 上式 极限存在，则 称为熵率 ，或称为极限熵，记为 一、离散平稳无记忆信源离散平稳无记忆信源输出的符号序列是平稳随机序列，并且符号之间是无关的，即统计独立的。为了研究离散平稳无记忆信源的熵率，假定信源每次输出的是 N长符号序列，这可以看作是一个新信源，称为 离散平稳无记忆信源的 N次扩展信源 ，它的数学模型是 N维离散随机变量序列 (随机矢量 )： ，其中每个随机变量之间统计独立。同时，由于是平稳信源，每个随机变量的统计特性都相同，因此还可以把一个输出 N长符号序列的信源记为：
