第二章单符号离散信道.doc

1、2002 Copyright EE Lab508H.F.第二章 单符号离散信道2.1 设信源 通过一信道，信道的输出随机变量 Y 的符号集 .30 7)(X:21Pa,信道的矩阵：:21bY4/165 22ab试求：(1) 信源 X 中的符号 1 和 2 分别含有的自信息量；(2) 收到消息 Yb 1，Yb 2 后，获得关于 1、 2 的互交信息量：I( 1;b1)、I( 1;b2)、I( 2;b1)、I(2;b2)；(3) 信源 X 和信宿 Y 的信息熵；(4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)；(5) 接收到消息 Y 后获得的平均互交信息量 I(X;Y)。解:bit/syml

2、e 28.069.2.0)()5( syble/it 653.09.1)( ) it/ml 98.)(log)()(log)()(4 bit/syle 926.014l21079l2l 8.)3og.()og)()( 1204 79)()(:)3( 134./.06/1.43log)(log;I 76././5.ll);( 03.1/.06/17.log)(log;I 4./3./5.l)(l);( 2 7.10ogogI 4ll)( 11212122112121212211121 XYHIX;YYXapbapabpabpYHaXbpbpabitbpaita bitbpa itabitapji

3、 ijijiji ijjij jji iii iii ii又由 上2002 Copyright EE Lab508H.F.2.2 某二进制对称信道，其信道矩阵是： 98.02.1 P设该信道以 1500 个二进制符号/秒的速度传输输入符号。现有一消息序列共有 14000 个二进制符号，并设在这消息中 p(0)= p(1)=0.5。问从消息传输的角度来考虑，10 秒钟内能否将这消息序列无失真的传送完。解: .,150bit/s,s/bit 98.2symle4 :4ymle/it 5.log.2log0.1 )1og()(l1)();( 故 不 可 能 无 失 真 传 输最 大 码 率超 过 了

4、 信 道 所 能 提 供 的而 输 入 信 源 码 率 为 为个 二 进 制 符 号 最 大 码 率秒 钟 内 传 送信 道 在 入 等 概 信 源由 于 二 进 制 对 称 信 道 输 CHYXIt 2.3 有两个二元随机变量 X 和 Y，它们的联合概率为 PX=0,Y=0=1/8，PX=0,Y=1=3/8，PX=1,Y=1=1/8，PX=1,Y=0=3/8。定义另一随机变量 Z=XY，试计算：(1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),

5、H(Z/XY);(3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解: symble/it406.1: .8log3l8)1log()83( )1(log)(01l)()(0l)()( bit/symle 54.81og7l )2l() sle;/it l ;81),(;83)0,1(),0(;1)()0,( ;2 .)(;781)(: .23;831)0()(2: :)1(21 H(XZ)YZYX ppppzxZHYX ZYpZYpZYpZp XXXXYYppXxzxzxzxzxzzxzikkiki的 概 率 分 布、由 上 面且 的 分

6、 布的 分 布 为的 分 布的 分 布由 题 意2002 Copyright EE Lab508H.F. bit/symle0)8/1log/3l8/log38/1l( )1(log)()10(log)1()l)0()(l)0 )(llog( bit/syme406.)() bit/symle406.)8/1l23l8/log32/18l( )1(log)()0(1log)()log)()(0l) )(ll( 0)1()()1()0 bit/symle4682 :、ZYXit/bl0)1log283l021log( )1(log)()1(log()()()l( bit/symle86201lo

7、g87308721log )1(log)()01(log)()()()()(l:、bit/symle810)()( )()()bit/symle8104log3l4log31l8( )1(log)()0(l)()()01()()0l( 4128)()1(4328)1(0) 43218)0()(0)()(2212 21212212ppppp yxzzxxzxXYZH ppppp zyxzxzxzyxHpp .XZHY ./ pppp xzzxzzXZH ./ pppp zxzzxzZX.YHYHX且YX;I . ppppyxyYXH./p;/p ;/p;/Yxyzzxyzxyzxyzxyzxyz

8、xyz jikijkkjijikijkkji yzxxzzyxyzyzxyzyzxxyz kjiijkkjikjiijkkjiyxyzxyz zxzzzxzzxzxzx ki ikikki ikik xzxzxxzzzxzxz ikkikiikkiki xyxyxxyxxyxyij jiji xyxyyxxyyxxyxyxy 2002 Copyright EE Lab508H.F.symble/it 405.6.81.0)()()( l/it .2. sle/bit 3)()( y18.06. ml/it 91:)3( YZXHYX;ZI;IZXXZYHY由 上2.4 已知信源 X 的信源空间

9、为 . 23. :)( : 41Paa某信道的信道矩阵为：b1 b2 b3 b4 2.043.1051.6432a试求：(1)“输入 3，输出 b2 的概率” ；(2)“输出 b4 的概率” ；(3)“收到 b3 条件下推测输入 2”的概率。解： 136.02.)()( 2.04.102.)()(3 19.3.041. )(2.0)(;132232413413432323 bpaapbpbpaai iiiii iiii2.5 已知从符号 B 中获取关于符号 A 的信息量是 1 比特，当符号 A 的先验概率 P(A)为下列各值时，分别计算收到 B 后测 A 的后验概率应是多少。(1) P(A)=

10、10-2；(2) P(A)=1/32；(3) P(A)=0.5。2002 Copyright EE Lab508H.F.解： 1)(,5.0)( 632102, )(2(1)(log);(BApp ApBpI时 时时由 题 意 2.6 某信源发出 8 种消息，它们的先验概率以及相应的码字如下表所列。以 a4 为例，试求：消息 a1 a2 a3 a4 a5 a6 a7 a8概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16码字 000 001 010 011 100 101 110 111(1) 在 W4011 中，接到第一个码字“0”后获得关于 a4 的信息量 I(a

11、4;0)；(2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于 a4 的信息量 I(a4;1/0)；(3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于 a4 的信息量 I(a4;1/01)；(4) 从码字 W4011 中获取关于 a4 的信息量 I(a4;011)。解： bit 38log/1l)(0log)01;(4) it 12log)/()l)(l;3 bit 58.3l)8/4/1/8()log01log)01;(2 it 1.0log/)/(l)(l;4444 apaIapaI2.13 把 n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为 p(

12、0p1)，试证明：整个串接信道的错误传输概率 pn=0.51-(1-2p)n。再证明： n 时，limI(X 0;Xn)=0。信道串接如下图所示：X0 X1 XnX2BSCIIBSCNBSCI2002 Copyright EE Lab508H.F.解：01log)( )(log)()(l);(lim)10(2 21)0()()0()()(: 1(1,02)1(2limli12)(1)21()2( 1)(1)(122,)1( 22111:2:210 21 0021 000 00011222 2 ijji ij jijiij jijinn nnnnnkk kkkkk Xp XpXppXIxpx X

13、pXXpXaapPppppppPnppppPn或取、则 输 出 信 源 其 中设 输 入 信 源 空 间故 则时 公 式 成 立假 设时 由当用 数 学 归 纳 法 证 明2002 Copyright EE Lab508H.F.2.18 试求下列各信道矩阵代表的信道的信道容量：(1) 01 432143aPb(2) 1001 b 654323aaP(3) 3.012.40007.34.2.1 b b b b 32 10986 53aP解： bit/symle 58.13log:(3) it/l .l2syble/it 24log)1(rCsr信 道 为 扩 张 性 无 噪 信 道信 道 为 归

14、 并 性 无 噪 信 道 系 的 无 噪 信 道信 道 为 一 一 对 应 确 定 关2.19 设二进制对称信道的信道矩阵为： 4/310 P(1) 若 p(0)=2/3，p(1)=1/3，求 H(X)，H(X/Y)，H(Y/X)和 I(X;Y)；(2) 求该信道的信道容量及其达到的输入概率分布。2002 Copyright EE Lab508H.F.解： bit/symle 813.0)4log31l4321log43l2( )(l()(l)( bit/syle 97.025log7llog( 1432)1)1( 270(0 bit/symle 9183.0)log1l()log)(1 21

15、21221 ij ijijiij ijjij jji iiyi iiyi ii xpxypxypxXYHypxyppxXH .21)()0(, syble/it1870log5.log1l)(log(2) bit/syle 79.068.9.; 670)(); CXpHrHrCYXIYXI 时 达 到 信 道 容 量即信 源 输 入 为 等 概 分 布本 信 道 为 强 对 称 信 道 2.20 设某信道的信道矩阵为 2.01.01.6. 1.0.106. b b 54321 5432aaP试求：(1) 该信道的信道容量 C；(2) I(a3;Y)；(3) I(a2;Y)。解: bit/sym

16、le51.0);();(32) bit/symle51.04log.)(logllog15 CYaII HrHrC、 道本 信 道 为 强 对 称 离 散 信2002 Copyright EE Lab508H.F.2.21 设某信道的信道矩阵为 3/16/13 b b 242aP试求：(1)该信道的信道容量 C；(2)I(a1;Y)；(3)I(a2;Y)。解: bymle/it0817.);();(3)2 symble/it0817.)6,3(4log,log2143CYaII HpHsC、 道） 本 信 道 为 对 称 离 散 信（2.22 设某信道的信道矩阵为 8/12/41P试该信道的信

17、道容量 C；解: bit/symle0612. )81,42(81log23l8),()og)( (814281)( )3,4312 21 121 21 HpHpCbrp pbsl ll ll且道此 信 道 为 准 对 称 离 散 信2.23 求下列二个信道的信道容量，并加以比较(其中 0p,q1,p+q=1)(1) 21pqP(2) q022002 Copyright EE Lab508H.F.解:.0: 2)log()(log)(2log)( 0,21(1l2 ),)(2(11)(2)0(,)2( log2)log()(log)(log) ,212(1 ),()l21()( )2()1,)

18、1(121 4321 21321 1时 等 号 成 立且 当表 达 式 可 知、由 上 面 且道此 信 道 为 准 对 称 离 散 信 且道此 信 道 为 准 对 称 离 散 信 CC qpqpqp pHqHbsCqpqprbpsqpqpqp HHbsCrbpqpqpsl lllll lll2.27 设某信道的信道矩阵为其中 P1,P2，P N 是 N 个离散信道的信道矩阵。令NppP 021C1，C 2，C N 表示 N 个离散信道的容量。试证明，该信道的容量 比特/符NiciC12log号，且当每个信道 i 的利用率 pi2 Ci-C(i1,2,N)时达其容量 C。证明: :)1(,P ),(2log )1(),21(/log)/)/(,11111可 以 改 写 为方 程 组特 点由 其 中可 得解 出由 方 程 组 列行为设 Nmsjj sj ijijsjijmlrkCrabpabpklPj