信息论与编码理论第二章习题答案(王育民).doc

1、部分答案，仅供参考。2.1 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为 ，3log,2一秒钟点和划出现的次数平均为 415.0.一秒钟点和划分别出现的次数平均为那么根据两者出现的次数，可以计算一秒钟其信息量平均为 253log41523log4102.3 解：(a)骰子 A 和 B，掷出 7 点有以下 6 种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1概率为 6/36=1/6，所以信息量-log(1/6)=1+log32.58 bit(b) 骰子 A 和 B，掷出 12 点只有 1 种可能：A=6,B=6概率为 1

2、/36，所以信息量-log(1/36)=2+log95.17 bit2.5 解：出现各点数的概率和信息量：1 点：1/21，log214.39 bit； 2 点：2/21，log21-13.39 bit； 3 点：1/7 ，log72.81bit； 4 点：4/21，log21-22.39bit； 5 点：5/21，log（21/5）2.07bit ；6 点：2/7，log(7/2) 1.81bit平均信息量：(1/21)4.39+(2/21)3.39+(1/7)2.81+(4/21)2.39+(5/21)2.07+(2/7)1.812.4bit2.7 解：X=1:考生被录取； X=0:考生未

3、被录取；Y=1:考生来自本市；Y=0:考生来自外地；Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4(a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P

4、(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625I(X ;Y=1)= xx )P(1Y/log)1/(P)1Y(I)/(Px;= )X/l/X0)(/log1/0=0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-10.45bit(b) 由于 P(Z=1/ Y=1)=1, 所以 P（Y=1，Z=1/X=1）= P（Y=1/X=1 ）=0.5P（Y=1，Z=1/X=0）= P（Y=1/X=0）=0.1那么 P（Z=1/X=1）= P（Z=1,Y=1/X=1）+ P（Z=1,Y

5、=0/X=1）=0.5+ P（Z=1/Y=0，X=1）P（Y=0/X=1 ）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P（Z=1,Y=1/X=0）+ P（Z=1,Y=0/X=0 ）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P（Z=1,X=1 ）= P（Z=1/X=1 ）*P(X=1)=0.7*0.25=0.175P（Z=1,X=0 ）= P（Z=1/X=0 ）*P(X=0)= 0.46*0.75=0.345P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52P(X=0/Z=1)=0.345/0.52=69/

6、104P(X=1/Z=1)=35/104I(X ;Z=1)= xx )P(1Z/log)/(P)1Z(I/( x;= X0PX/log)10P=(69/104)log(23/26)+( 35/104)log(35/26) 0.027bit(c)H（X）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bitH(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1) -P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.

7、5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0

8、)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125P(X=1,Y=1,Z=0)=0P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*l

9、og0.075-0.125*log0.125-0.075*log0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A，B，C 分别表示三个筛子掷的点数。X=A, Y=A+B, Z=A+B+C由于 P(A+B+C/ A+B)=P(C/A+B)=P(C)所以 H(Z/Y)=H(A+B+C/ A+B)=H（C ）=log6 =2.58bitH(X/Y)=

10、 H(A/Y)Y 组合数目 组合情况（A+B） P(A=a/Y=y)12 1 6+6 111 2 5+6,6+5 1/210 3 4+6,5+5,6+4 1/39 4 3+6,4+5,5+4,6+3 1/48 5 . .7 6 1+6,2+5,3+4,4+3,5+2,6+11/66 5 . .5 4 . .4 3 . .3 2 . .2 1 1+1 1一共 36 种情况，每种情况的概率为 1/36，即 P(A=a,Y=y)=1/36H(X/Y)=H(A/Y)=(1/36)(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2-6*log

11、(1/6)=1.89bit由于 P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C)H(Z/XY)=H(C) =log6 =2.58bit由于 P(A=x,A+B+C=z/A+B=y)=P(A=x,C=z-y/ A+B=y)=P(A=x/A+B=y)P(C=z-y/A+B=y)= P(A= x / A+B=y)P(C=z-y)=P(A/Y)P(C)P(A/Y)上面已经给出。Y 组合数目 组合情况（ A+B+C） P(A=x,A+B+C=z/A+B=y)12 6 6+6+1, 6+6+2,., 6+6+6 1/611 12 . 1/1210 18 . 1/189 24 . 1/248

12、30 . .7 36 . 1/366 30 . .5 24 . .4 18 . .3 12 . .2 6 . 1/6一共 216 种情况，每种情况的概率为 1/216，即 P(XYZ)=1/216H(XZ/Y)= (1/216)(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30)*2-36*log(1/36)=(1/36)*(log6+2log12+3log18+4log24+5log30)*2+6log36=4.48 bit由于 P(Z/X)=P(B+C/A)=P(B+C)BC 的组合共 36 种:B+C 组合数目

13、组合情况（B+C） P(Z/X)12 1 6+6 1/3611 2 5+6,6+5 2/3610 3 4+6,5+5,6+4 3/369 4 3+6,4+5,5+4,6+3 4/368 5 . .7 6 1+6,2+5,3+4,4+3,5+2,6+1 5/366 5 . .5 4 . .4 3 . .3 2 . .2 1 1+1 1/36(/)()log(/)/)()l()(xyzabccHZXpzxabcaHBC= (1/36)*log36+2log(36/2)+ 3log(36/3)+ 4log(36/4)+ 5log(36/5)*2+6log(36/6)bit2.11 解：P(0/0)=

14、P(1/1)=1- p, P(1/0)=P(0/1)= p(a) P(ul)=1/8P(ul，0)=P(ul)P (0/ul)=(1/8)(1-p)接收的第一个数字为 0 的概率：P(0)=P(ul)P(0/ul)+ P(u2)P(0/u2)+. P(u8)P(0/u8)=4(1/8)(1-p)+ 4(1/8)p=1/2I(ul; 0)=log P(ul，0)/P(0)P(ul)=1+log(1-p)(b) P(ul，00)=P (ul)P(00/ul)=(1/8)(1-p)2 P(00)=P(ul)P(00/ul)+ P(u2)P(00/u2)+. P(u8)P(00/u8)=2(1/8)(

15、1-p)2 +4(1/8)p (1-p)+ 2(1/8)p2=1/4I(ul; 00)=log P(ul，00)/P(00)P(ul)= 2+2log(1-p)(c) P(ul，000)=P( ul)P(000/ul)=(1/8)(1-p)3P(000)=P(ul)P(000/ul)+ P(u2)P(000/u2)+. P(u8)P(000/u8)= (1/8)(1-p)3 +3(1/8)p (1-p) 2+3(1/8)p 2 (1-p) +(1/8)p3=1/8I(ul; 000)=log P(ul，000)/P(000)P(ul)= 3+3log(1-p) (d) P(ul，0000)=P

16、 (ul)P(0000/ul)=(1/8)(1-p)4P(0000)=P(ul)P(0000/ul)+ P(u2)P(0000/u2)+. P(u8)P(0000/u8)= (1/8)(1-p)4 +6(1/8)p 2 (1-p) 2+ (1/8)p4I(ul; 0000)=log P(ul，0000)/P(0000)P(ul)= 424(1)3log2log()6pp2.12 解：Z 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18概率 1/63 3/63 6/63 10/6315/6321/6325/6327/6327/6325/6321/6315/6310

17、/636/63 3/63 1/63I(Y;Z)=H(Z)-H(Z/Y)I(X;Z)= H(Z)-H(Z/X)I(XY ;Z)=H(Z)-H(Z/XY)I(Y;Z/X)=I(XY;Z)-I(X;Z) I(X;Z/Y)= I(XZ;Y)-I(Y;Z)= H(XZ)-H(XZ/Y) -I(Y;Z)H(X)+H(Z/X) -H(XZ/Y) -I(Y;Z)以上可以根据 2.9 的结果求出 2.27 解：考虑到约束条件 00()1,()qxqxm采用拉格朗日乘子法 12 12200012 12()()log()()log()c x xHqxddqde ameq 当且仅当 时，等式成立。 12()xqa将 带入 ： 12x00(),()dxdm 21,lnam实现最大微分熵的分布 ，相应的熵值 log（me）ln()lnl1xxamaqxee2.29 证明：(a) 12()()()(1)QxxQx所以 Q(x)为概率分布。(b) 即证明熵的凸性。11212211 2()() 1loglog()()log) ()()()()loglog1)10()HUHUQxQxQxxQxxee