1、第二章 信息量和熵2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2 =2 3=6 bit8log因此，信息速率为 6 1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 1， 6,2，5,3 ，4,4，3,5，2,6 ，1= =)(ap361得到的信息量 = = =2.585 bit)(logap6l(2) 可能的唯一，为 6，6=)(bp361得到的信息量= = =5.17 bit)(logb
2、p36l2.4 经过充分洗牌后的一副扑克（52 张） ，问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？解：(a) =)(ap!521信息量= = =225.58 bit)(log!52l(b) 花 色 任 选种 点 数 任 意 排 列134!= =)(bp1352A4C信息量= =13.208 bit13logl2.9 随机掷 3 颗骰子，X 表示第一颗骰子的结果， Y 表示第一和第二颗骰子的点数之和，Z 表示 3 颗骰子的点数之和，试求 、 、 、)|(ZH)|(X),|(YZH、 。)|,(YH)|(Z解：令第一第
3、二第三颗骰子的结果分别为 ， ， ， 相互独立，则321,x123x， ， 1x21x= = 6=2.585 bit )|(3log= =X)(Y=2 ( 36+ 18+ 12+ 9+ )+ 66ll36log4l365logl=3.2744 bit= - = - - )|(YXH();YXI(H)Y)|(X而 = ，所以 = 2 - =1.8955 bit|或 = - = + -| |H而 = ，所以 =2 - =1.8955 bit)()|()(= = =2.585 bit,|Z)|= + =1.8955+2.585=4.4805 bitYX|XYZ2.10 设一个系统传送 10 个数字，
4、0，1，9。奇数在传送过程中以 0.5 的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。解：信道XY9,7531i86420= -);(YI(H)|因为输入等概，由信道条件可知， 10)812(0)(为 偶 数为 奇 数iyp即输出等概，则 = 10YHlog=)|(XY)|()(ijjjii xypx= -|lijjiyp偶 )|(logijjiji xyp奇=0- )|(og)(ijjiji奇= - -|l|97,531 iiii xypx， )|(log)|()97531 ijji iji xyp，= 2 5+ 8 4 50l10l= =1 bit4= - = 10
5、 -1= 5=2.3219 bit);(YXI(H)|Xlogl2.11 令 为一等概消息集，各消息相应被编成下述二元码字821,u，=0000， =0011， =0101， =0110，u34u=1001， =1010， =1100， =11115678通过转移概率为 p 的 BSC 传送。求：(a)接收到的第一个数字 0 与 之间的互信息量。1(b)接收到的前二个数字 00 与 之间的互信息量。u(c)接收到的前三个数字 000 与 之间的互信息量。(d)接收到的前四个数字 0000 与 之间的互信息量。1解：即 ， ， ，)0;(1uI);(1I)0;(1uI)0;(1I= + =p48
6、8p2= = =1+ bit);(1I)0(|log1log)l(p= =)0(p2)4282pp41= = = bit;1uI0(|log1u/(log)log(p= =)0(p )13)83223pp81=31+ bit;1Il(=)( )6) 424= bit0;1uI 4241(8logpp2.12 计算习题 2.9 中 、 、 、 、 。);ZYI);XI);,ZYI)|;(XI)|;(YZI解：根据题 2.9 分析=2( + + + +)(H216log326log216log1026log+ + + )557=3.5993 bit= - = - =1.0143 bit);(ZYI
7、()|YZ(H)X= - = - =0.3249 bitXY= - = - =1.0143 bit, |Z(= - = - =0.6894 bit)|;(I)|(X)()= - = - =0 bit|2.14 对于任意概率事件集 X,Y,Z，证明下述关系式成立(a) + ，给出等号成立的条件)|,(ZYH)|()|(ZH(b) = + ,Y(c) |X|证明：(b) =-)|,(XZYHxyz xyzp)|(log)(=- |=- -xyz )|(l)(xyzp|og= +)|(XYH)|(YZ(c) =-,|(Zxyz )|(l= - p)( xyzpxy|og|- xyz )|(l)|(=
8、- z|l= )|(XZH当 = ，即 X 给定条件下，Y 与 Z 相互独立时等号成立)|(xyzp(a) 上式(c)左右两边加上 ，可得)|(+ +|Y),|()|(XH于是 +,|2.28 令概率空间 ，令 Y 是连续随机变量。已知条件概率密度为21,X，求：其 他,04)|(xyxyp(a)Y 的概率密度 )(b) );(YXI(c) 若对 Y 做如下硬判决 1,0,1yV求 ，并对结果进行解释。);(XI解：(a) 由已知，可得=)1|(xyp elsy0134=)|( ls= +y1xp)1|(xy)(p)1|(xy= elsyy031841381(b) = =2.5 bit)(YH
9、C1134log2og=|X3 )1|(l)|()( dyxpxypx1|y= =2 bitdd3134log24log2= - =0.5 bit);(YI)(HC)|XY(c) 由 可得到 V 的分布律yV -1 0 1p 1/4 1/2 1/4再由 可知)|(xV -1 0 1p(V|x=-1) 1/2 1/2 0p(V|x=1) 0 1/2 1/2bit5.14log2l1)(VH=1 bit|X= = 0.5 bit);(I)|(XV2.29 令 和 是同一事件集 U 上的两个概率分布，相应的熵分别为 和1xQ)2 1)(UH。2)(UH(a)对于 ，证明 = + 是概率分布0(x)(
10、1Q)(2x(b) 是相应于分布 的熵，试证明 +)H1)(2(证明：(a) 由于 和 是同一事件集 U 上的两个概率分布，于是)(1(20， 0xq=1， =1ddxqx)又 ，则= + 0)()(1)(2= + =1qxx dxqx1因此， 是概率分布。)(xQ(b) =UH dxqxqq )(1()log)(1( 22= dxx log)2xx)()l( 212（引理 2）xdq)l)11 xqlog= +(UH2(第三章 信源编码离散信源无失真编码 3.1 试证明长为 的 元等长码至多有 个码字。ND1)(DN证： 在 元码树上，第一点节点有 个，第二级有 ，每个节点对应一个码字，2若
11、最长码有 ，则函数有 = = ，此时，所有码字对ii1)()(N应码树中的所有节点。码长为 1 的 个；码长为 2 的 个，码长为 的 个总共 = 个NiiD)(N3.2 设有一离散无记忆信源 。若对其输出的长为 100 的事件序列中含96.0,4.21aU有两个或者少于两个 的序列提供不同的码字。1a(a) 在等长编码下，求二元码的最短码长。(b) 求错误概率（误组率） 。解: (a)不含 的序列 1 个1长为 100 的序列中含有 1 个 的序列 =100 个 10C长为 100 的序列中含有 2 个 的序列 =4950 个 a2所需提供码的总数 M=1+100+4950=5051于是采用
12、二元等长编码 =12.3，故取 =13DMNlogN(b)当长度为 100 的序列中含有两个或更多的 时出现错误，1a因此错误概率为= -eP1100)96.(C9)6.0(4. 98220)6.(4.C= 375.3.3 设有一离散无记忆信源，U= ，其熵为 。考察其长为 的输出序列，43,12a)(UHL当 时满足下式0L )(LuIPr(a)在 =0.05， =0.1 下求0(b)在 = ， = 下求3108(c)令 是序列 的集合，其中TLu)(UHLuI试求 L= 时情况(a)(b)下，T 中元素个数的上下限。0解： = = =0.81 bit)(UHkplog34logl41=)(
13、kaIE)(UH= = -22)(2kaIE)(UH=kkplog=0.471则根据契比雪夫大数定理 2)(LLuIPIr(a) = = =1884L2I 2)05.(147(b) = =4.71I38130(c) 由条件可知 为典型序列，若设元素个数为 ，则根据定理Lu TM)()(22)1( UHLUHL其中 ， ，可知(i) ， ，.005.184下边界： .3)(9)(L上边界： =2UH24.16故 084.139.TM(ii) ， ，603107.L108.)(9.)( L=2UH1082.3故 12.39. T3.4 对于有 4 字母的离散无记忆信源有两个码 A 和码 B，参看题
14、表。字母 概率 码 A 码 Ba1 0.4 1 1a2 0.3 01 10a3 0.2 001 100a4 0.1 0001 1000(a) 各码是否满足异字头条件？是否为唯一可译码？(b) 当收到 1 时得到多少关于字母 a 的信息？1(c) 当收到 1 时得到多少关于信源的平均信息？解： 码 A 是异头字码，而 B 为逗点码，都是唯一可译码。码 A bit32.140log)(|log);( 2121 paI码 B bit014.log)(,| 1paa码 A U= 4321,= =1.32 bit);(|);(kkIpuI 0);(|1I 05.67.089.102.3014.6 197
15、6542 aaaaU 码 B =0 bit41)1;(|);(kkaIpuI（收到 1 后，只知道它是码字开头，不能得到关于 U 的信息。 ）3.5 令离散无记忆信源(a) 求最佳二元码,计算平均码长和编码效率。(b) 求最佳三元码,计算平均码长和编码效率。解：(a) 0101010101010 . 0 50 . 0 60 . 0 70 . 0 80 . 0 90 . 1 00 . 1 20 . 1 30 . 1 40 . 1 10 . 2 30 . 1 50 . 1 60 . 1 90 . 2 70 . 3 10 . 5 80 . 4 210101010 0 00 1 00 1 11 0 0
16、1 1 01 1 10 0 1 00 0 1 11 0 1 01 0 1 1a5a69a=3.234 bitkpUHlog)(平均码长 =3.26=nDnRlog效率 %2.9l)()(UHR(b)0 . 1 60 . 1 40 . 1 30 . 1 20 . 1 00 . 0 90 . 0 80 . 0 70 . 0 60 . 0 5010120120120210 . 1 10 . 2 40 . 3 30 . 4 31a24a56a91a0 00 10 21 01 22 02 12 21 1 01 1 1平均码长 =2.11knp=3.344DRlog效率 %6.9)(UH3.6 令离散无记忆信源 2.03.5.1a(a) 求对 U 的最佳二元码、平均码长和编码效率。(b) 求对 U 的最佳二元码、平均码长和编码效率。2(c) 求对 U 的最佳二元码、平均码长和编码效率。3解：(a)0 . 50 . 30 . 210 . 5 01011a10 00 1=0.51+0.32+20.2=1.5nbit485.log)(kpUH%9R(b) 离散无记忆 H(U U )=2H(U)=2.97 bit12p(a a )=0.25, p(a a )=0.15, p(a a )=0.1, p(a a )=0.15, p(a a )=0.09 p(a a1 132122
