1、连续信源的数学模型及其测度,第五讲,信源的数学模型,信源的信息测度,随机变量、随机序列,简单离散信源：H(X), I(X;Y),离散无记忆信源：H (X),离散有记忆信源：H(X),= HL(X)=H(X),离散信源, HL(X) H(X),输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。,连续信源的数学模型,考虑一个定义在a,b区间的连续随机变量，如下图,首先把X的取值区间a,b分割为n个小区间，小区间宽度为 =(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 x取值为第i个小区间xi的概率为p(xi)
2、. ，于是得到离散信源Xn的概率源空间为：,p(x),p(xi) ,a 0 xi b x,连续熵,其中,按离散信源熵定义,当0，n时，Xn接近于连续随机变量X，这时可得连续信源的熵为：,绝对熵,相对熵,定义:连续信源的相对熵为,1) 相对熵为绝对熵减去一个无穷大量；,2) 相对熵不具有非负性，可以为负值；,4) 连续信源的绝对熵为一个无穷大量，但当分析互信 息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。,3) 相对熵不等于一个消息状态具有的平均信息量；,连续熵,定义：连续变量的联合熵为,定义：连续变量的条件熵为,连续熵,连续变量的联合熵、条件
3、熵和互信息之间关系,连续熵,定义：平均互信息量为,联合平均互信息量,连续熵,条件平均互信息量,连续变量X与离散变量Y联合联合熵、条件熵,连续熵与平均互信息量,连续变量X与离散变量Y的平均互信息量,例 令X是在区间(a，b)上为均匀分布的随机变量，求X的熵。解：x的概率密度为 注意:连续变量的微分熵不具有非负性当ba1 时， ba1 时， ba=1 时，,例 令X是数学期望为m，方差为 的正态随机变量，求它的熵。解：将正态随机变量的概率密度它的值视 的大小可正、可负或零，且与数学期望无关。,均匀分布的连续信源的熵：,高斯分布的连续信源的熵：,连续熵实例,仅与区域的边界有关,与数学期望无关，仅与方
4、差有关,设pXY是(xy)二维高斯概率密度函数,求X与Y的平均互信息。,连续熵实例,例 X 和Y 的一维概率密度函数容易求得为,X 和Y 之间的平均互信息由定义有 奈特 表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。,例: 设原连续随机变量X是数学期望为m，方差为 的正态随机变量，经一个放大倍数为k的放出器放大输出Y,求Y的熵。解：y=kx为数学期望为km,方差为 的正态随机变量， 注意:相对熵值通过线性放大器后发生变化.,指数分布的连续信源的熵：,连续熵实例,连续熵可为负值（连续熵的相对性所致）可加性平均互信息的非负性，对称性，信息处理定理最大连续熵定理,连续熵的
5、性质,峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即,连续信源与离散信源不同，1) 它不存在绝对最大熵;2) 其最大熵与信源的限制条件有关。,最大连续熵定理,峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即,最大连续熵定理,证明：,应用拉格朗
6、日乘因子法，首先构造函数,由相对熵定义，可得,当且仅当,时，等号成立。,将其代入约束条件,可得,，则有,于是有,X (-M,M),峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即,最大连续熵定理,证明：,考虑到约束条件,应用拉格朗日乘因子法计算极大值,当且仅当,时，等号成立。,将其代入两个约束条件，即可求得,和,于是有,X的方差一定,均值受限的最大熵定理 若连续随机变量X非负的均值为M，则X服从指数分布时 的相对熵最大
7、，即,最大连续熵定理,当平均功率受限时，高斯分布信源的熵最大，若令 其平均功率为 ，则其熵为,熵功率,若平均功率为 的信源具有熵为HC(X)，则称熵为HC(X)的 高斯信源的平均功率为熵功率,若另一信源的平均功率仍为 ，则它的熵一定小于HC(X),连续信源的剩余度,平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率 总小于信号的实际平均功率 。,熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差 ，称为连续信源的剩余度。,设二维随机变量(X,Y)在区域 内均匀分布，试计算HC(X) HC(Y)和I(X;Y),思考:,本节小结,连续信源的数学模型,连续信源的相对熵,随机过程,定义及含义,（内容见课本32-39页）,连续型随机变量或随机序列,性质：可加性、极值性（最大熵定理）,熵功率,平均互信息,定义、含义及性质,作 业,2.25 2.27 2.28,
