1、离散无记忆信道的容量,第十一讲,信道容量,信道容量,离散无记忆,达到C充要条件,输入概率矢量,达到转移概率为,的DMC的容量C的充要条件为,其中，,定理3 对于准对称DMC信道（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为,准对称信道的容量,最佳输入分布为等概分布,准对称DMC信道,准对称信道容量计算公式,对称DMC信道,例 KSC信道,其中0p1。称p为错误概率。特别当K=2时，记为BSC,例 KSC信道容量,对称信道最佳输入分布为等概分布当输入等概时，输出分布 也为等概信道容量,例 KSC信道容量,例 二元删除信道容量,当q=0时，简化为BSC。当p=0时，简化为纯删除信道。
2、达到信道容量时的最佳输入分布为等概分布。信道容量是转移概率矩阵任何一行所对应的半平均互信息量。,它为准对称信道，,达到C的分布为等概分布，即,解：,BSC(q=0) C=1-H(p)纯删除信道(p=0) C=1-q,例 二元删除信道容量,DMC的输入为X，X的所有事件为0, 1, , K-1；DMC的噪声为Z，Z的所有事件为0, 1, , K-1；DMC的输出为Y，Y的所有事件为0, 1, , K-1；X与Z相互独立；Y=X+Z(modK)。,例 模K加性噪声信道,求信道容量C,若记P(Z=z)=sz，则转移概率矩阵为,例 模K加性信道容量,显然，模K加性噪声信道是对称DMC，则信道容量为,p
3、(y|x)=P(Y=y|X=x) =P(X+Z(modK)=y|X=x) =P(x+Z(modK)=y|X=x) =P(Z=y-x(modK)|X=x) =P(Z=y-x(modK)。,假定所有输入字母的概率,，则,由,可得,即,可逆矩阵信道容量,令,，得,可以看成是有J个未知数 的线性方程组。由假设P是非奇异矩阵，故必有唯一解。,令,是其解，由上假设,又,，可得,可逆矩阵信道容量,对上面得到的解进行验证。,特别注意,可逆矩阵信道容量,计算wj,计算Qk,求解方程组,验证,若 即所得到的解是正确的,否则满足条件的最大值在边界上，于是,令某个,为0，,再次进行试解。,可逆矩阵信道容量,列方程组,
4、计算信道容量,验证,对上面得到的解进行验证。,特别注意,可逆矩阵信道容量,计算wj,计算Qk,求解方程组,验证,若 即所得到的解是正确的,否则满足条件的最大值在边界上，于是,令某个,为0，,再次进行试解。,多解,有时要令多个,为0，进行试解,特别,例 题,DMC信道的转移概率矩阵为,求其信道容量C。,非奇异矩阵,例 题,根据,列方程组,得,从而,例 题,验证,，求得,再根据,，得到方程组,可得,经验证,，因此结果正确,最佳分布为,根据,N次扩展信道容量,有：,【定理】：DMC,无记忆信道,证明,注：等号成立条件,无记忆信道,证明,注：等号成立条件,注：当输入字母序列中各字母统计独立时，等号成立
5、。,由信道容量的定义知，对于任意n，有,注：若对每个n，输入分布 可使 极大，则有 ，从而等式成立。,DMC，有问题：对有记忆信道上式是否成立？,例： 模2加性噪声信道考虑满足的 二元对称信道，其中 表示模2加法运算，并且假设 具有分布 但不一定相互独立。假设Zn与输入Xn相互独立，C=1-H(p).则有：,该结论的证明，用到互信息的当 （信道无记忆）时，有当 （信源无记忆）时，有当信源和信道都是无记忆时，有,证明：假设信源无记忆，有因此，有,组合信道,若信道1和信道2同时传送信息，则组合信道的输入集由所有的有序对 组成，其中,输出集由所有的有序对 组成，其中,转移概率 ，称这样组成的信道为信
6、道1和信道2的独立并行信道或积信道。信道1和信道2称作积信道的分信道。,积信道,定理 独立并行信道的容量C为各分信道容量之和,证明：,由此得,特别注意,时等号成立。,条件下，相当于要求,即要求两个分信道的输入彼此独立。这样对于积信道的最佳利用是将两个信道独立地使用，并使每个分信道的输入分布为最佳，就能保证到达信道容量。,推论（N个独立信道构成的并行信道）设每个分信道的输入空间、输出空间和转移概率分 布相应为Xn，Yn和Pn，则合成的积信道的输入、输出空间及转移概率分布和容量分别为,和,【例】DMC的N次扩展信道,积信道,若任一单位时间可随机地选用信道1或信道2中的一个（两者不能同时选用）。选用
7、信道1的概率为p1，选用信道2的概率为p2,且p1+p2=1。组合信道的输入空间为,称此组合信道为和信道，或称作并信道。,输出空间为 ，转移概率分布为,和信道,【例】,此时和信道的转移概率矩阵为,和信道的互信息为,其中,定理 信道1和信道2的和信道的容量C满足,证明：,令,所以,解之,又 ,则,或,回代 入关系式,则,可得,推论（N个独立信道的和信道）,若各分信道的输入、输出空间、转移概率和容量分别为Xn，Yn和Pn和Cn，则和信道的信道容量为,每个信道被利用的概率为,和信道,【例】求解信道 的容量C,解,和信道,最佳分布,若将信道1的输出作为信道2的输入，信道1的输入集就是组合信道的输入集，
8、信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道，又称串行信道。,级联信道,转移概率,将信道1与信道2级联，组成级联信道，求其信道容量和最佳输入分布。,信道1,信道2,BSC信道，C=1-H(0.2)，最佳分布为等概分布。,级联信道,级联条件下，可能以为合成信道容量为 但事实上，它并不成立。通过级联以后的转移概率趋 于两个信道转移概率的平均值 因而传信能力将减少，这与信息不增原理相一致。可 以证明，若将N个转移概率相同的BSC信道依次级联 当 ，级联信道容量,提 示,编码器,信道,信源输出：U,X,Y,组合信道编解码信道,组合信道编解码信道,译码器,V,例：组合信道编解码信道考虑BSC，p=0.1,码长为3的重复码000,111。经信道编解码后，输出0和1.该信道仍为BSC，p=0.93 +3*0.92*0.1=0.972原信道的信道容量C1=1-H(0.1)=0.531 bit/原符号信道编解码信道的容量C3=1-H(0.972)=0.81574bit/符号组合信道不会增加信道容量，提高可靠性。,3.反馈信道4.编码反馈信道,作 业,4.1 4.3 4.5 4.6 4.7,
