1、信息论与编码理论1第 3 章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为 2/31解: (1) 若 ，求 和12()3/4,()1/Pa(),(|),(|)HXYHYX。(;)IXYii2i=1 31Hp(a)log log()l()0.83(/)44bit符 号212122jjj=1 7(b)(|)+p(b|a)=2315pa|47H(Y)(b)loglog()l()0.97(/)12bit符 号2 2ijjijiji,(|X)p(a)l(|a)p(b|a)log(|)logl0.9183/3ij jt符 号I(;Y)=H(|)=.7.0.61(/)bit符 号X|I;0813
2、749符 号(2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量H(P)=-plog(1)log-p2C1+=0.817(bit/)33与BSC 信道达到信道容量时，输入为等概率分布，即：0.5 ，0.5注意单位第 3 章 信道容量23-2 求下列三个信道的信道容量及其最佳的输入概率分布。 1b233a21YX1b2aY1b2aYX3111111 10 . 70 . 3第一种：无噪无损信道，其概率转移矩阵为：P=0 1信道容量： bit/符号()max;PXCIY()()()()a;(|)|0x;axpxpxppIHXHY离散无记忆信道(DMC)只有输入为等概率分
3、布时才能达到信道容量，bit/符号C=log31.580输入最佳概率分布如下： 1,3第二种：无噪有损信道，其概率转移矩阵为： ，离散输入信道， 10P=()()()()max;ax(|)|0;pppxpxCIXYHYXHH(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率： 123a+=0.5,p(a).信道容量： bit/符号C=log()第三种：有噪无损信道，由图可知： () ()() ()max;ax(|)|0;pppxpxIXYHXYHCI信息论与编码理论3输入为等概率分布时可达到信道容量，此时信道容量bit/符号 输入最佳概率分布：p(x)C=maHX=log(
4、2)11,23-3 设 4 元删除信道的输入量 ，输出量 ，转,234X,34YE移概率为其中(|)1- 0 P= 1 - 0 p1=p2= - YiEi1,234i1）该信道是对称 DMC 信道吗？2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。（1）本通信过程的转移概率分布如下所示：可以分解为两个矩阵： - 0P= 1- 1- 0 p=p2= -可以看出该信道不是对称 DMC 信道，它是准对称 DMC 信道。（2）该信道的信道容量为：（直接套用准对称信道计算公式） 2log(|)log(|)log(4)1,l1(4)l()()ll()og2/4jkjkssj
5、CnpbapbaNMHbit符 号（3）两个独立并联的二元删除信道其转移概率如下：第 3 章 信道容量4可以写成： 的形式1- 01- 0 与独立并联的二元信道的信道容量为两个信道容量的和。其信道容量为： bit/符号1(-, )(1-log)l(2)=1-CH两个独立并联和删除信道的信道容量=2C= bit/符号本信道的信道容量与两个并联删除信道信道容量相等。3-4 设 BSC 信道的转移概率矩阵为 122Q1）写出信息熵 和条件熵 的关于 和 表达式，其()HY(|)YX1()H2()中 。()log1l2）根据 的变化曲线，定性分析信道的容道容量，并说明当 的12信道容量。解：（1）设输
6、入信号的概率颁布是p,1-p 11212()()|)()(|)pbapbapb212122()()|)()(|)(app1122121211()log)()log()()()l()(HYbpbppp2,1112221(|)|)log(|)log()l()(ijijiijHYXabpbappH（2） 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道)信息论与编码理论5容量。 () ()1212()max;)ax(|)()()ppxCIXYHYXHppH由于函数 H（）是一个凸函数，有一个性质：1212()()()f ff可知： C假设 时此信道是一个二元对称信道，转移概率分布为：12Q信道
7、容量： 12-log-(1)log(-)()CH3-5 求下列两个信道的容量，并加以比较。1-p2-120p第一个：可以写成： 与- p12bit/符号1(-,2)()log()log(4)CH第二个：012pp 与 两个对称形式 -2 0bit/符号21(-p,)(1)log(2)log(2)CH所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。第 3 章 信道容量63-6 设信道前向转移概率矩阵为 10Qp1）求信道容量和最佳输入概率分布的一般表达式；2）当 和 时，信道容量分别为多少？并针对计算结果做出说0p1/2明。（1）此信道为非对称信道，设输入概率分布为：23123p,
8、 +p 1输出概率分布为： 123123q, q 111121231323212122323123 3331max(;)ax()(|)| ()(|)0()()|)()(|)()(|)()()CIXYHYXpbpbpbapbaqappppb12233123 3|)()(|)()(|)0(1babapb,112 2332 23(|)()|)log(|)log1log()l()()l lijijiijHYXpxypyxp ppp12323max(;ax()(|),),1,1)CIXYHYXHqpp把 C 对 P1，P 2，P 3 分别求导： ，可得：123CC=0 =0信息论与编码理论7232323
9、32log(1)(1log()log(1)(,1)0ppppHp可得： P2 = P3 2l()l(,)0H可以解得： 23(,1)HPp最佳输入概率分布的表达式为： (,1-)(,1-)(,1-)222HPHPHP 设 则(,)N123() p= p=max|)12(1loglog()pxCHYXHpNN（2）p=0 时， 是一个对称信道，当输入等概率分布时可以10Q达到信道容量，输入转移概率为 1,3N=3，所以 bit/符号22(1)log()log.5803C（3）p=1/2 时， ，可得 N=4，021Qbit/符号1logl(,)242CH3-7 设 BSC 信道的前向转移概率矩阵
10、为第 3 章 信道容量80.982.Q设该信道以 1500 个二元符号秒的速度传输输入符号，现在一消息序列共有 14000 个二元符号，并设在这消息中 ，问从信息传(0)1/2P输的角度来考虑，10 秒钟内能否将这消息序列无失真地传输完。解：BSC 信道，且输入为等概率，信道容量bit/符号1(0.98,2).586CH14000 个二元符号的信息量为： 140log2=140与14000 比特5/./5与所以 10 秒内不能无失真的传输完。3-8 有 个离散信道，转移概率矩阵分别为 。由这 个离散m12,mQ信道组成一个新信道，称为和信道，其转移概率矩阵为： 120mQQ 设 是第 个离散信
11、道的信道容量。试证明：和信道的信道容量为kC1log2kC此时第 个信道的使用概率为 。k()kkP解：m=2 时,转移矩阵变为: ，设两个信道的信道容量分别为：12Q 0=，信道的利用率分别为： ，并行信道，有12,C112p,+p与C=C1+C2信息论与编码理论9() (),111(), 222,1 (|)max;ax()|)log|log()| ()|)ln jiijippijn jiijipxijn jiijiij pyxCIXYpyxypyxpxx1111(), 2222,11212()112() (|)ma()|)log| |l()loglax;)(;),m,n jiijipxij
12、n jiijiijpxypyxpxxIXYIYHpC分别对 C1，C 2 进行求导可得：可得：122d=0 plogIn C-12Clogp=l-令 ，可得：12logp=lm12CmC12p2,p-11212 1 21212 12 12CmCC m12 CC12CCCloglog()()()pp=, log() -依次类推，可得： kkm =1log( )p-第 3 章 信道容量103-9 求 个相同的 BSC 级联信道的信道容量。N解：N 个相同 BSC 级联，设 1101()iQ级联后： 1.11Q0 10()1 .()001nnni nCCN 为偶数时： 1nQN 为奇数时： 0 n可知本信道等同于 BSC 信道，可得出： bit/符号(,1)CHp3-10 电视图像由 30 万个像素组成，对于适当的对比度，一个像素可取 10个可辨别的亮度电平，假设各个像素的 10 个亮度电平都以等概率出现，实时传送电视图像每秒发送 30 帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为 30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解： i1p(x)=0log3.2/IXbit与1 秒内可以传送的信息量为：3.29/it bit7与10与=.98710
