1、信息论与编码（第二版） 曹雪虹答案第二章1112.1 一个马尔可夫信源有 3 个符号 ，转移概率为：1,23u， ， ， ， ， ，|/2pu21|/pu|0p12|/p2|0pu32|/pu， ， ，画出状态图并求出各符号稳态概率。13| 3| 3|解：状态图如下状态转移矩阵为： 1/203/p设状态 u1， u2， u3 稳定后的概率分别为 W1，W 2、W 3由 得 计算可得1231WP1232311W 12305965W2.2 由符号集0，1组成的二阶马尔可夫链，其转移概率为： =0.8， =0.2，(0|)p(0|1)p=0.2， =0.8， =0.5， =0.5， =0.5， =0
2、.5。画出状(1|0)p(|)p(0|)p(0|)p(1|)|态图，并计算各状态的稳态概率。解： (|)(0|).8(|1)(|).5|1|2p0|0p(|)(|).(|)(|).|081|15u1 u2u31/21/2/32/1/于是可以列出转移概率矩阵：0.820.5.8p状态图为：设各状态 00，01，10，11 的稳态分布0 0 0 11 0 1 10 . 80 . 20 . 50 . 50 . 50 . 50 . 20 . 8概率为 W1,W2,W3,W4 有得 计算得到41iiP131224130.8.5.1W 123454751W2.3 同时掷出两个正常的骰子，也就是各面呈现的概
3、率都为 1/6，求：(1) “3 和 5 同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵；(5) 两个点数中至少有一个是 1 的自信息量。解：(1) (2)bitxpxIiii 170.48log)(l)(61 bitxpxIiii 170.536log)(l)(16(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 5
4、5 5661 62 63 64 65 66共有 21 种组合：其中 11，22，33，44，55，66 的概率是 其他 15 个组合的概率是3611862 symbolitxpXHi ii / 7.418log5361log)(log)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)symbolitxpXHPi ii/ 274.3 61log35l6291log12log18g261lg)()()( 3621093658794832 bitxpxIiii 710.36log)(l)(162-42.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%
5、是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历X x1（是大学生） x2（不是大学生）P(X) 0.25 0.75设随机变量 Y 代表女孩子身高Y y1（身高160cm）y2（身高160cm）P(Y) 0.5 0.5已知：在女大学生中有 75%是身高 160 厘米以上的即： bitxyp 75.0)/(1求：身高 160 厘米以上的某女孩是大学生的信息量即： bitypxyxpyxI 415.0725log)(/log)/(log)/( 111 2.6
6、 掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1）因圆点之和为 3 的概率 1()1,2(,)8pxp该消息自信息量 ()logl84.70Ixbit2）因圆点之和为 7 的概率 1()1,6(,)2,5)(,)(3,)6pxppp该消息自信息量 logl62.58Ixxbit2.7 设有一离散无记忆信源，其概率空间为 123403/8/41/8XxxP （1）求每个符号的自信息量（2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 0
7、11 223 210，求该序列的自信息量和平均每个符号携带的信息量解： 12218()logl.415()3Ixbitpx同理可以求得 2 3,(),()IbitIitIxit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有： 12344()3()()687.1IxIIxbit平均每个符号携带的信息量为 bit/符号.952.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示 4 个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二进制脉冲可以表示 2 个不
8、同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 八进制脉冲的平均信息量symbolitnXH/ 24log)(1symbolitnXH/ 38log)(2二进制脉冲的平均信息量 sylit/ 1l)(0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。2-9 “” 用三个脉冲 “”用一个脉冲(1) I()= Log 4( ) 2 I() Log43 0.415(2) H= 14Log 4( )34Log43 0.8112-10 (2) P(黑/ 黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y
9、/白)= (4) P(黑)= P(白)= H(Y)= 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成 38 份，用 1，38 的数字标示，其中有两份涂绿色，18 份涂红色，18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令 X 表示指针指向某一数字，则 X=1,2,.,38Y 表示指针指向某一种颜色，则 Y=l 绿色，红色，黑色Y 是 X 的函数，由题意可知 ()(ijipxy（1） bit/符号31238138()()logloglog.24()
10、jjjHpy（2） bit/符号2,l5.Y（3） bit/符号(|)(,)()(5.214.0HXYHYXY2.12 两个实验 X 和 Y，X=x 1 x2 x3,Y=y1 y2 y3,l 联合概率 为,ijijrxy212337/4/407r（1） 如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？（2） 如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？（3） 在已知 Y 实验结果的情况下，告诉你 X 的实验结果，你得到的平均信息量是多少？解：联合概率 为(,)ijpxy=2.3bit/符号22 21(,)(,)log(,)74logl4lijijijHXYpxy
11、xyX 概率分布bit/符号21()3log.58HYY 概率分布是 |(,)(2.3158XHY=0.72bit/符号Y y1 y2 y3P 8/24 8/24 8/242.13 有两个二元随机变量 X和 Y，它们的联合概率为YXy1 y2 y3x1 7/24 1/24 0x2 1/24 1/4 1/24x3 0 1/24 7/24X x1 x2 x3P 8/24 8/24 8/24Y X x1=0 x2=1y1=0 1/8 3/8y2=1 3/8 1/8并定义另一随机变量 Z = XY（一般乘积） ，试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ
12、)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。解：(1) symbolitypYHxypsymbolitxpXHyxpj jji ii / 1)(log)()( 2831)()() / log283)()() 122121121221 Z = XY 的概率分布如下： symbolitzpZHzPk / 54.081log7l8)()(170221 symbolitzxp
13、zXZHpzxzxzzppxzzikkiki / 406.18log3l821log)(log)()(81)()() 835.07)()()5.0)()()222111221122 symbolitzypzYZHpzyzypzpyjkkjkj / 406.18log3l821log)(log)()(81)()() 835.07)()().0222112211221 symbolitzyxpzyxpXYZHzyxpzyxpzyxyxzzzpyxyxpzyxpzijk kjikji / 81.log83llog831l )(l)()()()(083)()( )(8312)()( )(8/1)()(
14、0)(2222121212 111211221 (2)symbolitXYHZXYZH litslbityoZYZ litXX smbHHlityobYY symbolityxpyxXij jiji / 081.)()()/( 45.6/ ./ / 401)()( 82.5./ / 6.0.)()/( / 181./ / 81.log83llg83l)(log)()(2 (3) symbolitYZXHYZXI litsybolitI lit/ 406.5.81.0)/()/()/;( 762/ ./; / 3)()( 18.0./; / 912-14 (1)P(ij)= P(i/j)=(2) 方法 1: = 方法 2: 2-15P(j/i)=
