1、离散平稳无记忆信源 X 的 N 次扩展信源的熵为离 散信源 X 的熵的 N 倍。 )()(XH 证明： 求和是对信源 中所有 个元素求和，可以NXNn 等效成 N 个求和，而其中的每一个又是对 X 中的 n 个元素求和，所以有： niiniini iiniiniiXi NNNNN xpxpxp xxap 11111 1)()()( )()()()(221 22 1 则 共有 N 项，考察其中第一项 1 12 11121 22 22 1()log()()()log()()log()()()NN N NNi i iii iX Xn nni i i ii i ippxpxpxpxxxxx NXiiN
2、 ppPH )(log)()(log)()( 22 121 222 22()()log()()()()l()()log().()log()NNN NNNNi ii iXi i i iX Xi iXHppxpxppx 因为 Nkxp niikk ,211)(1 所以 )()(log)()(log)( 122 111 XHxpxpxp ni iiXiiN 同理其余各项均等于 H(X) 故有： 证毕。)()(XNH 例 3.1有一离散平稳无记忆信源 ，求此信源的二次扩展 31321 )(4,)( iixpxXP 信源 的熵。2 先求出此离散平稳无记忆信源的二次扩展信源。 扩展信源的每个元素是信源 X
3、 的输出长度为 2 的消息 序列。由于扩展信源是无记忆的，故 )9,1;3,2,()()()( 121 iixpapiii 信源的元素2Xa34a56a78a 对应的消息序列 1x21x122x31x233x 概率 )(iap488686 根据熵的定义，二次扩展信源的熵为 212()()/6,/86,1/84,/16,/816)3()()2(24HXXbitsymolHX 结论：计算扩展信源的熵时，不必构造新的信源， 可直接从原信源 X 的熵导出。即离散平稳无记忆 信源 X 的 N 次扩展信源的熵为离散信源 X 的熵的 N 倍。 思考证明二维离散有记忆信源的熵不大于二维平 稳无记忆信源的熵？
4、)()()( 2121 XHXH 例 3.3设某二维离散信源 X= 的原始信源 X 的信21 源模型为 ，X= 中前后两个符号36941)(2xxXP21X 的条件概率为 2)/(12XP1 1x2x3x1x 7/9 2/9 02 1/8 3/4 1/83 0 2/11 9/11 原始信源的熵为： )/(542.1)(log)()(2 31 symbolitxpxXHiii 由条件概率确定的条件熵为： )/(870.)/(log)/()/( 1212121312 sybolitxpxpiiiiii 条件熵比信源熵（无条件熵）减少了 0.672bit/symbol,正是由于符号之间的依赖性所造成
5、 的。 信源 X= 平均每发一个消息所能提供的信息量，21X 即联合熵 )/(412.)/()()( 12121 symbolitXHH 则每一个信源符号所提供的平均信息量 2 12()().06(/)XHXbitsymbol 小于信源 X 所提供的平均信息量 H(X)，这同样是由 于符号之间的统计相关性所引起的。 将二维离散平稳有记忆信源推广到 N 维情况，可 证 证明： )/()/()/()()( 121213121 NNN XHXHXHX 212212121 ,)()( XYXYXYHNN 令 则 )/()/()( )/()()()( 1212121 11 NNNNN XHYXYHX23
6、2 1211 1 2312 1211()(/)(/ )()(/)(/)(/ )(NNNNNNNXXXXHHHX 表明：多符号离散平稳有记忆信源 X 的熵 H(X)是 X 中起始时刻随机变量 X1的熵与各阶条件熵之和。 证明离散平稳信源条件熵随变量数 N 增大而减小 的非递增性，即 121122(|.)(|.)NNNNHXXHXX 由信源熵不等式 1 1loglogq qii iii iPP 其中 1; qiiP1;qii 令 ，21(|.)iNNxx 122(|.)iNNPxx 代入上式不等式 121 121121122(|.)log(|.)(|.)log(|.)N NNNNNXNNNNXPx
7、xPxxxxxx 两边乘上 121(.)NPx121 121121 122(.)log(|.)(.)log(|.)N NNNNX NNNXxxPxxPxxxx 两边对 求和121.x12 12121121 121121 122121122.(.)log(|.).(.)log(|.).(.)log(|.)NNNNNNXX NNNXXNNNXXPxxPxxxxxxPxPxx 即 1211122(|.)(|.)NNNNHHXX 等号在 121122(|.)(|.)PxxPxx （对所有 都满足）时成立。12.N 证明平均符号熵大于条件熵，即 121(|.)NNNHXX 根据平均符号熵的定义 1212
8、1312121()(,.,)()(|)(|).|,.,)N NNNXHXXHXX 1211211(|,.)(|,.)NNHXXN 证明平均符号熵随 N 单调下降12112121112 12112111 1211()(,.,)()log().(.)log(.).(.)l(.)(|.).(.)log(NrN Ni iirriiNiiNiiNrriiNiiNiNiiNiiNiiNiHXXpapapapapaapa 211112 121112 1211 .).(.)l(|.)(,.,)(|,.,)(|,.,()()rr iNiiNrriiNiNiiNiiNNNNapaaHXXHXX 移位后有 1(1)()()()NNHXHX 最后： 1NHX
