1、 离散无记忆信道的容量第十一讲信道容量 kaX jbY )( kjp ),(max YXIC kQ信道容量);( YXI N21 ,x,xx N1 yyy , 2 )|( xyNp)|()|()|( 2211 NN xypxypxyp ),|,()|( 22 N1N1N xxxyyypp xy离散无记忆Review达到C充要条件输入概率矢量 KQQQQ , 10 达到转移概率为 )( kjp的DMC的容量C的充要条件为 CYkxI );( 0, kQkCYkxI );( 0, kQk其中，iij ijpQkjpkjpYkxI)()(log)();(Review定理3 对于准对称DMC信道（1）
2、达到信道容量的最佳输入分布为等概分布；（2）信道容量为kYkXIijpKkjpkjpC JjKi；);()|(1)|(log)|(1010准对称信道的容量最佳输入分布为等概分布Review准对称DMC信道准对称信道容量计算公式 101010 )(1)(log)()(log)();( JjKiJj j ijpKkjpkjpwkjpkjpYkxIC对称DMC信道10)(log)(logJjkjpkjpJC例 KSC信道pKpKpKpKpKpKppP11111111其中0p1。称p为错误概率。特别当K=2时，记为BSCppppP11例 KSC信道容量对称信道最佳输入分布为等概分布当输入等概时，输出分
3、布也为等概信道容量)()1log(log)1(log)1()1()1log()1(logpHKpKKpKpKppKC)(12 pHCK ：时当例 KSC信道容量pKpKpKpKpKpKppP1111111110)(log)(logJjkjpkjpJC例 二元删除信道容量例：二元删除信道输入事件集为0,1；输出事件集为0,2,1；转移概率矩阵为qpqppqqpP1112010当q=0时，简化为BSC。当p=0时，简化为纯删除信道。达到信道容量时的最佳输入分布为等概分布。信道容量是转移概率矩阵任何一行所对应的半平均互信息量。它为准对称信道，达到C的分布为等概分布，即 2/110 QQ10 )1(2
4、121)1(21 wqpqpw qqqw 21212 YXIYXI ;1;0 )1(21loglog)1(21)1(log)1(qppqqqqqpqp21log)1(log)1log()1( qqppqpqp 解：BSC(q=0) C=1-H(p)纯删除信道(p=0) C=1-q 例 二元删除信道容量DMC的输入为X，X的所有事件为0, 1, , K-1；DMC的噪声为Z，Z的所有事件为0, 1, , K-1；DMC的输出为Y，Y的所有事件为0, 1, , K-1；X与Z相互独立；Y=X+Z(modK)。例 模K加性噪声信道+XxZz)(xQ)(zpYzxy )(yw输入 输出干扰求信道容量C
