信息论习题答案第二章陈前斌版.doc

1、第 2 章习题2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是 l/6，求：(1) “3 和 5 同时出现”事件的自信息量；(2)“两个 1 同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4) 两个点数之和(即 2，3， ，12 构成的子集）的熵；(5)两个点数中至少有一个是 1 的自信息。解：（1）P（3、5 或 5、3）P（3、5）+P（5、3）1/18Ilog2（18） 4.1699bit。（2）P（1、1）l/36 。I log2（36）5.1699bit。（3）相同点出现时（11、22、33、44、55、66）有 6 种，概率 1/36。不同点

2、出现时有 15 种，概率 1/18。H（i，j）6*1/36*log 2（36）+15*1/18*log 2（18）4.3366bit/事件。（4）i+j 2 3 4 5 6 7 8 9 10 11 12P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36)=3.2744bit/事件。（5）P（1、1or1、j or i、1）1/36+5/36+5/3611/36。Ilog2（36/11）1.7105

3、bit/2-5 居住某地区的女孩中有 25是大学生，在女大学生中有 75身高为 1.6m 以上，而女孩中身高 1.6m 以上的占总数一半。假如得知 “身高 1.6m 以上的某女孩是大学生”的消息，问获得多少信息量？、解：P（女大学生）1/4 ；P（身高1.6m / 女大学生）=3/4；P （身高1.6m）1/2；P（女大学生 / 身高1.6m ）P （身高1.6m 、女大学生）/P （身高1.6m ）3/4*1/4*23/8Ilog2（8/3）1.4150bit 。2-7 两个实验 和 ，联合概率 为123,Xx123,Yy()ijijpxy21337/4120/407p（1）如果有人告诉你

4、和 的实验结果，你得到的平均信息量是多少？XY（2）如果有人告诉你 的实验结果，你得到的平均信息量是多少？（3）在已知 的实验结果的情况下，告诉你 的实验结果，你得到的平均信息量是多少？YX解：YP(x,y)y1 y2 y3 .xXx1x2x37/24 1/24 01/24 1/4 1/240 1/24 7/241/31/31/3.y 1/3 1/3 1/3（1） 31(,)(,)log(,)2.0/ij ijijHYpxyPxybitsml（2） 31()()log().5894/j jjHYpybitsl（3） (|)(,)()2.301.58947/XYHbitsymol211 某一无记

5、忆信源的符号集为 ，已知 ， 。,01/p13/4（1）求信源符号的平均信息量；（2）由 100 个符号构成的序列，求某一特定序列（例如有 个 0 和 个 1）的m信息量的表达（3）计算（2）中的序列熵。解：（1）因为信源是无记忆信源，所以符号的平均熵 三/., 81bit0453214X（2）某一特定序列（例如：m 个 0 和 100-m 个 1）出现的概率为m-10m-101021L 43PXPX ,所以，自信息量为 bitm)(,I -L3log1024log2 10 （3）序列的熵 三/8itXL2-13 有一个马尔可夫信源，已知转移概率为。121122(|),(|),(|),(|)0

6、33PSSPSS试画出状态转移图，并求出信源熵。解：（1）由题意可得状态转移图由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。一步转移矩阵 0132P由 和 可得方程组i jijWpjij1322121解方程组得到各状态的稳态分布概率 ，41W32/因为 ，0SX312SX1 ,/,/2/3S11/31S2所以信源的熵 三/.,/ 69bit024312HsXpi ii 2-14 有一个一阶马尔可夫链 各 取值于集 ，已知,21 rXr ,21qaA起始概率为 ，其转移概率如下：41,)(31 pxPpji 1 2 31231/22/32/31/401/31/41/30（1

7、）求 的联合熵和平均符号熵；321X（2）求这个链的极限平均符号熵；（3）求 和它们对应的冗余度。210H、解：（1）方法一、因为 23121213121321 /xP/x/xP/xP可以计算得到,16/aP/aP8/313122111 ,241aP03121,0aP243113,241aP3212,0aP321,0aP361822,241aP313,361aP082323,0aP321所以， 三3.967bit/ log3612log812log416log214log612log8xlxX31X32131123 所以，平均符号熵 三/.3bitX321方法二、 三 个 符 号3.967bi

8、t/1.205/X21221所以，平均符号熵 三/1.3bitX321（2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.由题意得到一步转移矩阵 03124P由 和 可得方程组i jijWpjij1W34221212313解方程组得到各状态的稳态分布概率 ，143W72/所以信源平稳后的概率分布为aP321/因为信源为一阶马尔可夫信源，所以信源的熵 三/.,/ 251bit03H14032142H74XX（3） 三/.58bitlog0三三/.it1471三/./25bitX2i1对应的冗余度分别为 145.0.0221102-16 一阶马尔可夫信源的状态如

9、图所示，信源 X 的符号集为0,1,2 。（1）求平稳后的信源的概率分布；（2）求信源熵 ；H（3）求当 和 时信源的熵，并说明其理由。0p1021pppp解：（1）由状态转移图可得状态一步转移矩阵 p0P由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。由 和 可得方程组i jijW1jij1p321321解方程组得到各状态的稳态分布概率 ，31W2/所以信源平稳后的概率分布为2p0/（2）因为信源为一阶马尔可夫信源，所以信源的熵 pHp,0H31p,0pH31 2X1XsXi ii , /（3）当 或 时，信源的熵为 0。因为此时它表明信源从某一状态出发转移到另一状态的情

10、况是一定发生或一定不发生，即是确定的事件。2-19 设有一信源，它在开始时以 的概率发出 ，如果()0.6,().3,()0.1PabPc1X为 时，则 为 的概率为 ；如果 为 时，则 为 的概率为 ；1Xa2cb,11X2cba,3如果 为 时，则 为 概率为 ，为 的概率为 0。而且后面发出 的概率cX2ci只与 有关。有 。试利用马尔可夫信源的图示法1i 11(|)(|),3iPi画出状态转移图，并且计算信源熵 。H解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合a,b,c,其状态转移图为1/31/31/31/31/31/21/31/2ab c（2）由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。一步转移矩阵 0213P由 和 可得方程组i jijWpjij1W3211213 312解方程组得到各状态的稳态分布概率 ，41W832/因为信源为一阶马尔可夫信源，所以信源的熵 三/., / 439bit12H31831H8 cXHpaXpspXi ii