1、第二章 离散信源及其信息测度,1、信源的分类2、基本信源的数学模型3、离散信源的信息熵4、信息熵的基本性质5、离散无记忆扩展信源的信息熵6、离散平稳信源的信息熵7、马尔科夫信源及其信息熵8、信源剩余度,第2章 离散信源及其信息测度,从本章开始，我们将从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。,2.1 信源的分类,信源是信息的来源，是产生消息或消息序列的源泉。不同的信源输出的消息其随机性质不同。根据消息所
2、具有的随机性质的不同，对信源进行如下分类：1、按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源（数字信源）和波形信源（模拟信源）。2、按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源。3、按照信源输出消息所对应的随机序列的平稳性信源可分为平稳信源和非平稳信源。4按照信源输出的消息所对应的随机序列变量前后之间有无统计以来关系，信源可分为无记忆信源和有记忆信源。,2.1 信源的数学模型及分类,2.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。所以，要通过信
3、息的表达者消息来研究信源。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。正如前面绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度概率空间来描述信源。,2.1 信源的数学模型及分类,例如，扔一颗质地均匀的骰子，研究其下落后，朝上上面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某 个面朝上。这种信源输出消息是“朝上的面是1点”，“朝上的面是2点”、“朝上
4、的面是6点”等六个不同的消息。每次试验只出现一种消息，出现哪一种消息是随机的，但必定是出现这六个消息集中的某一个消息，不可能出现这个集合以外的什么消息。这六个不同的消息构成两两互不相容的基本事件集合，,2.2基本信源的数学模型,1、离散信源,2.2基本信源的数学模型,2、连续信源 我们可用一维的连续型随机变量X来描述这些消息。则这种信源称为连续信源，其数学模型是连续型的概率空间，表示为: 其中R表示实数集，是随机变量X的概率密度函数。上式也表示连续型概率空间满足完备集。,2.3离散信源的信息熵,1、自信息,2.3离散信源的信息熵,2、信息熵,2.4信息熵基本性质,2.4信息熵基本性质,2.4信
5、息熵基本性质,2.5离散无记忆扩展信源的信息熵,2.5离散无记忆扩展信源的信息熵,2.6离散平稳信源的信息熵,2.6离散平稳信源的信息熵,2.6离散平稳信源的信息熵,2.6离散平稳信源的信息熵,2.6离散平稳信源的信息熵,2.7马尔科夫信源及其信息熵,1、马尔科夫信源的定义 马尔科夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。若信源输出的符号和信源所处的状态满足马尔科夫链的条件：（1）某一时刻信源输出的符号只与此刻信源所处的状态有关，而与以前的状态和输出的符号无关。（2）信源某L时刻所处的状态只由当前输出的符号和前一时刻信源的状态惟一决定。则此信源称为马尔科夫信源。若上述两条件与时刻L无关，则具有时齐性（齐次性），称为时齐马尔科夫信源。,2.7马尔科夫信源及其信息熵,
