1、 第六章 波形信源和波形信道第一节 波形信源的统计特性和离散化第二节 连续信源和信源的信息测度第三节 具有最大熵的连续信源第四节 连续信道和波形信道的分类第五节 连续信道和波形信道的信息传输率第六节 连续信道和波形信道的信道容量第七节 连续信道编码定理第一节 波形信源的统计特性和离散化实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用 随机过程 x(t)来表示。随机过程 x(t)可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。（ 1）随机波形信源中消息数是无限的。（ 2）随机波形信源可用有限维概率
2、密度函数族以及与各维函数概率密度函数有关的统计量来描述。第一节 波形信源的统计特性和离散化就统计特性的区别来说，随机过程大致可分为 平稳随机过程 和 非平稳过程 两大类。最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率 1等于时间平均。对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列时刻上的样本值 来表征。因为随机过程的样本函数 x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。第一节 波形信源的统计特性和离散化这样，通过取样，随即过程就成为可数的无限维的随机序列 。如果随机过程又是限时的，时间间
3、隔为 T， 则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。 取样加量化才使随机过程变换成时间的取值都是离散的随机序列 。量化必然带来量化噪声，引起信息损失。 随机过程描述输出消息的信源称为 随机波形信源 。用连续随机变量描述输出消息的信源称为 连续信源。第二节 波形信源和波形信源的信息测度连续信源的差熵先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。变量的一维概率密度函数为一维概率分布函数为条件概率密度函数为联合概率密度函数为第二节 波形信源和波形信源的信息测度它们之间的关系为基本连
4、续信源的数学模型为其中 R是全实数集。连续信源的差熵连续信源的信息熵第二节 波形信源和波形信源的信息测度这样的话：舍弃无穷大的第二项，可得：定义 连续信源的熵 为：第二节 波形信源和波形信源的信息测度同理可以定义两个连续变量 X、 Y的联合熵和条件熵第二节 波形信源和波形信源的信息测度连续信源的差熵只具有熵的部分含义和性质（ 1）可加性并当且仅当 X与 Y统计独立时所以可得（ 2）凸状性和极值性差熵 h(X)是输入概率密度函数 p(x)的 型凸 函数，对于某一概率密度函数可以得到差熵的最大。（ 3）差熵可为负值第二节 波形信源和波形信源的信息测度波形信源的差熵实际信源的输入和输出都是平稳随机过程，其 x(t)和y(t)可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。波形信源的差熵 :
