1、连续信源的数学模型及其测度,第五讲,信源的数学模型,信源的信息测度,随机变量、随机序列,简单离散信源:H(X), I(X;Y),离散无记忆信源:H (X),离散有记忆信源:H(X),= HL(X)=H(X),离散信源, HL(X) H(X),输出消息取值上连续的信源,如语音,电视信源等,对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。,连续信源的数学模型,考虑一个定义在a,b区间的连续随机变量,如下图,首先把X的取值区间a,b分割为n个小区间,小区间宽度为 =(b-a)/n,根据概率分布与概率密度曲线区间面积的关系 x取值为第i个小区间xi的概率为p(xi)
2、. ,于是得到离散信源Xn的概率源空间为:,p(x),p(xi) ,a 0 xi b x,连续熵,其中,按离散信源熵定义,当0,n时,Xn接近于连续随机变量X,这时可得连续信源的熵为:,绝对熵,相对熵,定义:连续信源的相对熵为,1) 相对熵为绝对熵减去一个无穷大量;,2) 相对熵不具有非负性,可以为负值;,4) 连续信源的绝对熵为一个无穷大量,但当分析互信 息量时是求两个熵的差,当采用相同的量化过程 时,两个无穷大量将被抵消,因而采用相对熵不影 响分析。,3) 相对熵不等于一个消息状态具有的平均信息量;,连续熵,定义:连续变量的联合熵为,定义:连续变量的条件熵为,连续熵,连续变量的联合熵、条件
3、熵和互信息之间关系,连续熵,定义:平均互信息量为,联合平均互信息量,连续熵,条件平均互信息量,连续变量X与离散变量Y联合联合熵、条件熵,连续熵与平均互信息量,连续变量X与离散变量Y的平均互信息量,例 令X是在区间(a,b)上为均匀分布的随机变量,求X的熵。解:x的概率密度为 注意:连续变量的微分熵不具有非负性当ba1 时, ba1 时, ba=1 时,,例 令X是数学期望为m,方差为 的正态随机变量,求它的熵。解:将正态随机变量的概率密度它的值视 的大小可正、可负或零,且与数学期望无关。,均匀分布的连续信源的熵:,高斯分布的连续信源的熵:,连续熵实例,仅与区域的边界有关,与数学期望无关,仅与方
4、差有关,设pXY是(xy)二维高斯概率密度函数,求X与Y的平均互信息。,连续熵实例,例 X 和Y 的一维概率密度函数容易求得为,X 和Y 之间的平均互信息由定义有 奈特 表明,两个高斯变量之间的互信息只与相关系数有关,而与数学期望及方差和无关。,例: 设原连续随机变量X是数学期望为m,方差为 的正态随机变量,经一个放大倍数为k的放出器放大输出Y,求Y的熵。解:y=kx为数学期望为km,方差为 的正态随机变量, 注意:相对熵值通过线性放大器后发生变化.,指数分布的连续信源的熵:,连续熵实例,连续熵可为负值(连续熵的相对性所致)可加性平均互信息的非负性,对称性,信息处理定理最大连续熵定理,连续熵的
5、性质,峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定,则X服从正态分布时 的相对熵最大,即,连续信源与离散信源不同,1) 它不存在绝对最大熵;2) 其最大熵与信源的限制条件有关。,最大连续熵定理,峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定,则X服从正态分布时 的相对熵最大,即,最大连续熵定理,证明:,应用拉格朗
6、日乘因子法,首先构造函数,由相对熵定义,可得,当且仅当,时,等号成立。,将其代入约束条件,可得,,则有,于是有,X (-M,M),峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理 若连续随机变量X的方差为一定,则X服从正态分布时 的相对熵最大,即,最大连续熵定理,证明:,考虑到约束条件,应用拉格朗日乘因子法计算极大值,当且仅当,时,等号成立。,将其代入两个约束条件,即可求得,和,于是有,X的方差一定,均值受限的最大熵定理 若连续随机变量X非负的均值为M,则X服从指数分布时 的相对熵最大
7、,即,最大连续熵定理,当平均功率受限时,高斯分布信源的熵最大,若令 其平均功率为 ,则其熵为,熵功率,若平均功率为 的信源具有熵为HC(X),则称熵为HC(X)的 高斯信源的平均功率为熵功率,若另一信源的平均功率仍为 ,则它的熵一定小于HC(X),连续信源的剩余度,平均功率受限时,一般信源的熵小于高斯分布信源的熵,所以信号的熵功率 总小于信号的实际平均功率 。,熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差 ,称为连续信源的剩余度。,设二维随机变量(X,Y)在区域 内均匀分布,试计算HC(X) HC(Y)和I(X;Y),思考:,本节小结,连续信源的数学模型,连续信源的相对熵,随机过程,定义及含义,(内容见课本32-39页),连续型随机变量或随机序列,性质:可加性、极值性(最大熵定理),熵功率,平均互信息,定义、含义及性质,作 业,2.25 2.27 2.28,