信息论与编码第2章习题解答.doc

1、- 1 -2.1 设有 12 枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量（因无砝码） 。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组 4 个，任意取两组称。会有两种情况，平衡，或不平衡。(1) 平衡：明确假币在其余的 4 个里面。从这 4 个里面任意取 3 个，并从其余 8 个好的里面也取 3 个称。又有 两种情况：平衡或不平衡。a）平衡：称一下那个剩下的就行了。b）不平衡：我们至少知道那组假币是轻还是重。从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的

2、轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。(2) 不平衡：假定已经确定该组里有假币时候：推论 1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过 3。我们知道，只要我们知道了该组（3 个）有假币，并且知道轻重，只要称一次就可以找出来假币了。从不平衡的两组中，比如轻的一组里分为 3 和 1 表示为“轻（3） ”和“轻（1） ”，同样重的一组也是分成 3 和 1 标示为“重（3） ”和“ 重（1） ”。在从另外 4 个剩下的，也就是好的一组里取 3 个表示为“ 准（3） ”。交叉组合为：轻（3） + 重（1

3、） ？=？ 轻（1） + 准（ 3）来称一下。又会有 3 种情况：(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1） ”也出现在现在轻的一边，我们已经知道，假币是轻的。那么假币在轻（3）里面，根据推论 1，再称一次就可以了。(2)右面轻：这里有两种可能：“重（1） ”是假币，它是重的，或者“ 轻（1） ”是假币，它是轻的。这两种情况，任意 取这两个中的一个和一个真币称一下即可。(3)平衡：假币在“重（3） ”里面，而且是重的。根据推论也只要称一次即可。2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“骰子面朝上之和是 3 和 4”时，

4、试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为 2”为事件 A，则在可能出现的 36 种可能中，只能个骰子都为 1，这一种结果。即：P（ A） =1/36， I（ A） = P（ A） = 36 5.17 比 特2log2l设 “面朝上点数之和为 8”为事件 B，则有五种可能：2 、 6； 6、 2； 4、 4； 3、 5； 5、 3； 即 ：P（ B） = 5/36， I（ B） = P（ B） = 36/5 2.85 比 特ll设“骰子面朝上之和是 3 和 4”为事件 C，则有两种可能： 3、 4； 4、 3； 即 ：P（ C） = 2/36， I（ C） = P（ C）

5、 = 36/2 4.17 比 特2logl2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）解：（1）P1/7 ILog 2PLog 27（2）已知今天星期四，问明天是星期几？即：明天是星期五是必然事件，不存在不确定性，I0。2.4 地区的女孩中有 25是大学生，在女大学生中有 75是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占半数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 为女大学

6、生,B 为 1.6 米以上的女孩则依题意有: , , 1()4P()2B3(|)4PA|6A- 2 -()3(|)8PAB所以信息量为 228logl32.5 一副充分洗乱了的牌（含 52 张牌） ，试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中出去抽取 13 张牌，所给出的点数都不相同时得到多少信息量？解：（1）任一排列发生的概率为 1/52!Ilog52!225.58 bit（2）13 张牌点数都不相同发生的概率为 1/413Ilog4 1326 bit2. 设离散无记忆信源 = ,其发出的消息为（202120130213001203210110321010021032 )x

7、(PX8/13a42/830a321011223210） ，求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：(1) 因为离散信源是无记忆的，所以起发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。I（ ）= log P（ ） = log = 1.415 比特01a1a83I（ ）= log P （ ）= log =2 比特224I（ ）= log P（ ）= log =2 比特33I（ ）= log P（ ）= log =3 比特4a4a81则此消息的自信息是：I=14I（ ）+ 13I（ ）+12 I（ ）+ 6

8、I （ ）01223a34a14 1.415+13 2+12 2+6 387.81 比特(2)此消息中平均每个符号携带的信息量是：I =87.81 45 1.95 比特/ 符号22.7 如有 6 行 8 列的棋型方格，若又二个质点 A 和 B，分别以等概率落入任一方格内，他们的坐标分别为（XA,YA）,(XB,YB),但 A.B 不能落入同一方格内。（1）如仅有质点 A，求 A 落入任一个格的平均自信息量是多少？（2）若已知 A 已落入，求 B 落入的平均自信息量。（3）若 A,B 是可分辨的，求 A,B 同都落入的平均自信息量。解:(1) H(XA)= =log24)(log)(241iii

9、aP(2) H(XB/XA)=qi )/(log/ijj iji a=24 23log)()112401 ajjj(3) H(XAXB)=qi1logjijjiP- 3 -= )(log)(2411jqjjaPa=24*23* * log( * )324=log24*23=log23+log242.8 从大量统计资料知道，男性中红绿色盲的发病率为 7，女性发病率为 0.5，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是” ，可能是“否” ，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：（1） 若男同志回答“是

10、”：Ilog(1/7%)3.84 bit回答“否”：Ilog(1/93%)0.1 bit平均信息量为：I7%log7%93%log93%0.36 bit（2） 若问女同志，平均信息量为：I0.5%log0.5% 99.5%log99.5% 0.045 bit2.9 设信源 求这信源的熵，并解释为什么 ，不满足信源熵的123456,()0.9.8017.XaaPx ()log6Hx极值性。解：信源的熵为： 22221().log5.l.log0.7log0.19.18.Hxbit/符号016765.是因为此信息的 ,不满足信息熵极值性的条件。()logx61()iiPa2.10 设离散无记忆信源

11、 S 其符号集 Aa1,a2,.,aq,知其相应的概率分布为（P1,P2,.,Pq ） 。设另一离散无记忆信源 S， 其符号集为 S 信源符号集的两倍，A=aii=1,2,.,2q,并且各符号的概率分布满足：Pi=(1-)Pi (i=1,2,.,q)Pi=Pi-q (i=q+1,q+2,.,2q)试写出信源 S信息熵与信源 S 的信息熵的关系。解：S： a1 a2 aqP： p 1 p2 pqH（X） qi1 PiLogPiqi1 Pi 1S： a 1 a2 aq aq1 a2qP ： p ， 1 p， 2p， qp， q1 p， 2qH（X） 2qi1 P， iLogP， i qi1 P，

12、iLogP， i 2qiq1 P， iLogP， i qi1 （1）P iLog（1 ）LogP i 2qiq1 Piq （LogLogP iq ）（1） qi1 PiLog（1 ）（1） qi1 PiLogPi 2qiq1 Piq Log 2qiq1 Piq LogPiq （1） qi1 PiLogPi 2qiq1 Piq LogPiq （1）Log（1） qi1 PiLog 2qiq1 Piq （1） qi1 PiLogPi qj1 PjLogPj（1）Log（1） qi1 PiLog qj1 Pj qi1 PiLogPi（1）Log （1 ）Log qi1 PiH（X）（1）Log（1）

13、Log qi1 PiH（X）（1）Log（1）Log即：H ,（X）H（X）（1）Log（1）Log2.13 （1）为了使电视图象获得良好的清晰度和规定的适当的对比度，需要用 5*105 个象素和 10 个不同的亮度电平，求传递此图象所需的信息率（比特/秒） 。并设每秒要传送 30 帧图像，所有象素是独立变化，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色彩度，试证明传输这彩色- 4 -系统的信息率要比黑白系统的信息率约大 2.5 倍。解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素

14、亮度信源的概率空间为： = =1)(iaPX1.0,.21a10)(iiaP每个像素亮度含有的信息量为：H(X)=log 210 3.32 比特/像素=1 哈特/像素现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆 N 次扩展信源。故，每帧图象含有的信息量是：H(XN)=NH(X)=5 105log10=5 105 哈特/帧 1.66 106 比特 /帧而每秒传送 30 帧图象，则传递这个图象所需要的信息率为R1=30 H(XN)=1. 5 106 哈特/秒 4.98 107 比特/ 秒（2）证明：每个像素具有 10 个不同的亮度和 30 个色彩度。由上面的计算得亮度等概

15、率出现的情况下，每个像素含有的信息量是：H(X)=log 210 3.32 比特/ 像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：= =1)(jbPX30/1,./301b301)(jjbP每个像素色彩度含有的信息量：H(Y)=log230 4.91 比特/像素而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log300 8.23 比特/ 像素如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有

16、的信息量之比：= 2.5)(XHY10log3证毕。2.14 每帧电视图像可以认为是由 3105 个像素组成,所以像素均是独立变化,且每一像素又取 128 个不同的亮度电平,并设亮度电平等概率出现.问每帧图像含有多少信息量?现有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视图像,试问广播员描述图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)? 若要恰当地描述图像,广播员在口述中至少需要多少汉字?解: 亮度电平等概率出现每个像素所含的信息量为 H(X)=log 128=7 bit/像素.而每个像素均是独立变化的每帧电视图像所包含的信息量为 H(X)= 3

17、105H(X)= 2.1106bit假设汉字字汇是等概率分布每个汉字出现的概率均为 10从而每个汉字携带的信息量为 log 10000=13.2877 bit/字汉字间彼此无依赖, 广播员口述的 1000 个汉字所广播的信息量为100013.2877=13287.7 bit若要恰当地描述图像,广播员在口述中至少需要的汉字数为 15841 个汉字。62.103872.15 为了传输一个由字母 A、B、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以 00 代表 A，01 代表B，10 代表 C， 11 代表 D。每个二元脉冲宽度为 5ms。（1）不同字母等概率出现时，计算传输的平均

18、信息速率？（2）若每个字母出现的概率分别为 pA=1/5,pB=1/4,pC=1/4,pD=3/10，试计算传输的平均信息速率？解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：H(x)=log4=2(比特/字母)又因为每个二元脉冲宽度为 5ms,故一个字母的脉冲宽度为 10ms则字母的传输速率为 100 字母/秒故传输的平均信息速率为：200 比特/秒- 5 -(2) 当每个字母分别以题中的概率出现时，平均自信息量为：H(x)=P(a i)logP(ai)=(1/5)*log5+2*(1/4)*log4+(3/10)*log(10/3)=1.98(比特/ 字母 )同样字母的传输速率

19、为 100 个/秒故传输的平均信息速率为：198 比特/秒2.18 设有一个信源,它产生 0,1 序列的消息.它在任意时间而且不论以前发生过什么符号 ,均按 P(0)=0.4,P(1)=0.6 的概率发出符号.(1) 试问这个信源是否平稳的?(2) 试计算 H(X2),H(X3|X1X2)及 .lim()NH(3) 试计算 H(X4)并写出 X4 信源中可能有的所有符号.解：(1) 因为信源发出符号的概率分布与时间平移无关,而且信源发出的序列之间也是彼此无依赖的.所以这个信源是平稳信源,是离散无记忆信源.(2) ,计算 H(X)0.971 bit/符号)x(PX6.041因为信源是平稳无记忆信

20、源,所以 H(X2)=2H(X)1.942 bit/两个符号H(X3|X1X2)=H(X3)=H(X)0.971 比特/ 符号= = = H(X)0.97 bit/符号lim()NH12li()NX 1lim()HX(3) H(X4)=4H(X)3.884 bit/四个符号 可能的所有 16 个符号:0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11112.19 有一个元无记忆信源，其发 0 的概率为 p，而 p 约等于 1，所以在发出的二元序列中经常出现的是那些一串为 0 的序列（称为高概

21、率序列） 。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源 Sn=S1 , S2 , S3 , , Sn , Sn+1,共有 n+1 个符号，它与高概率的二元序列的对应关系如下：二元序列：001,01,0001,00000001,1 ,0001(n 位),00 000(n 位)新信源符号：S 3,S2, S4, S8, S1, Sn, Sn+1(1) 求 H（ Sn）(2) 当 时求信源的熵)(lim)(nnH解：依题意，因为是二元无记忆信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：1, 2Nkikii aPaP121., Nii.,2

22、1由此可得新信源 Sn 为： nnnin PSSS121 000 证明满足完备性： 11)(nininii PsP11)1(12 nnPP )(loglog()log)( 11 HsSHni iini ii nnn HPS im)(lmli)(因为 所以 ，则：,10P0i 1)S- 6 -2.21 有一信源，它在开始时以 P(a)=0.6,P(b)=0.3,P(c)=0.1 的概率发出 X1。如果 X1 为 a 时，则 X2 为 a、b、c 的概率为1/3；如果 X1 为 b，X2 为 a、b、c 的概率为 1/3；如果 X1 为 c，X2 为 a、b 的概率为 1/2，为 c 的概率为 0

23、，而且后面发出 Xi 的概率只与 Xi-1 有关，又 P(Xi|Xi-1)=P(X2|X1) i3。是利用马尔可夫信源的图示法画出状态转移图，并计算信源熵 H。解：由题可得，状态转移图为：a:0.6b:0.3c:0.1b:1/2a:1/2c:1/3a:1/3c:1/3a:1/3b:1/3b:1/3abcabcabcaE0E1E2E3E4E5E6E7E8E9E10E11b可见，状态 E1 和 E4、E 7、E 10 的功能是完全相同的， 状态 E2 和 E5、E 8、E 11 的功能是完全相同的，状态 E3 和 E6、E 12 的功能是完全相同的。其中 E0 是过渡状态，而 E1、E 2、E 3

24、 组成一个不可约闭集，具有遍历性。故有如下的状态转移图 A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态 E1、E 2、E 3的极限概率：Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E3)=1/3Q(E1)+1/3Q(E2)Q(E1)+Q(E2)+Q(E3)=1可得： Q(E1)=Q(E2)=3/8， Q(E3)=1/4c:1/3c:1/3 b:1/2b:1/3c:0.1b:0.3a:0.6c:1/3b:1/2a:1/3E2E3E0E1a:

25、1/3- 7 -图 A所以 H =H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)=1.4388(比特/符号 )2.22 一阶马尔可夫信源的状态图如图 2.8 所示，信源 X 的符号集为 并定义 。0,121p(1) 求信源平稳后的概率分布 ；(0),1(2)P(2) 求此信源的熵；(3) 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵 并与 进行比较；()HX(4) 对一阶马尔可夫信源 取何值时 取最大值，又当 时结果如何？pH01p解：（1） ，由图可得0,12EA(),23iiQEPa0,12iia

26、于是得到/2/pp/2(0)() (0)1 12/()()1TQQPpp整理计算得 0(2)3Q即 ()()P（2） 据一阶马尔可夫信源的熵的表达式可得 321()|)(0)|1(2|),)(,),333logllog22lliiiHEHXPPXppppp（3） 信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源 0,12()/3/iXPa得到： 1()log()l31.58/iiiHPa由此计算结果可知 XH（4） 求一阶马尔可夫信源 的最大值。因为- 8 -(1)log()logHpp求其对 p 的一阶导数 1l()ln2ln2og1og2()lp令 ，得 ，所以 ，所以 时， 达

27、到最大值； 的最大值等0H2(1)l0p2(1)p23H。log31.58/当 时plogl2当 时 1/pp由此可以看出上面 的结论时正确的。()HX2.23 一阶马尔可夫信源的状态图如图 2.9 所示，信源 X 的符号集为0,1,2。（1） 求平稳后信源的概率分布。（2） 求信源的熵 H 。（3） 求当 p=0 和 p=1 时信源的熵，并说明其理由。解：（1）由图可知一阶马尔可夫信源的状态空间 E=A=0,1,2.平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即 Q(Ei)P(a i) i1,2,3Ei E,aiA,而 EA从状态图中分析可知，这三个状态都是正规常返态，所以此马

28、尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵得P01)2()0()0(1)(QPTQ(0)Q(1)Q(2)1/3则可得 P(0) P(1)P(2)1/3(2) 一阶马尔可夫信源的熵H H 2 I=13Q(Ei)H(XE i)P(0)H(X E)+P(1)H(X1)+P(2)H(X2)1/3H(P 1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)0 12pppppp- 9 -P 1P 1-PPH(P)(3) 当 P0 ,H 0当 P1 ,H 1因为信息熵是表示信源的平均不确定性，题中当 P=1 或 P=0 时表明信源从某一状态出发转移到另一状态的情况是一

29、定发生或一定不发生，即是确定的事件。当 P=1 时，从 0 状态一定转移到 2 状态，2 状态一定转移到 1 状态，1 状态一定转移到 0 状态。所以不论从何状态起信源输出的序列一定是 021021 序列，完全确定的。当 P=0 时，0 状态永远处于 0 状态，1 状态永远处于 1 状态，2 状态用于处于 2 状态。信源输出的符号序列也是确定的。所以当 P=1 或 P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。2.24 设有一个马尔可夫信源,它的状态集为s 1,s2,s3,符号集为 a1,a2,a3,及在某状态下发符号的概率为 P(ak|si)(i,k=1

30、,2,3),如下图所示.(1) 求出图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 计算信源处在某一状态下输出符号的条件熵 H(sj)(j=1,2,3).(3) 求出马尔可夫信源熵 H . 解: (1) 此信源的状态集不等于符号集,从状态转移图可知P(a1|s1)=1/2, P(a1|s1)=0, P(a1|s3)=1P(a2|s1)=1/4, P(a2|s2)=1/2, P(a2|s3)=0P(a3|s1)=1/4, P(a3|s2)=1/2, P(a3|s3)=0状态转移概率为 P(s2|s1)= P(a1|s1)+ P(a2|s1)=3/4P(s3|s1)= P(a3|s1)=

31、1/4P(s1|s1)=0P(s1|s2)= 0P(s2|s2)= P(a2|s2)=1/2P(s3|s2)= P(a3|s2)=1/2P(s1|s3)= P(a1|s3)=1P(s2|s3)= P(a2|s3)=0P(s3|s4)= P(a3|s3)=0得状态转移矩阵: P= 012/4从图可知 此状态马尔可夫链是时齐的,状态数有限的和是不可约闭集,所以其具有各态历经性,平稳后状态的极限概率分布存在.得到如下方程组：Q(s1)= Q(s3)Q(s2)=3/4 Q(s1)+1/2 Q(s2)Q(s3)=1/4 Q(s1)+1/2 Q(s2)Q(s1)+ Q(s2)+ Q(s3)=1S1 S2S

32、3a1:a2:a2:a3:a3:a1:1- 10 -解得： Q(s 1)=2/7, Q(s2)=2/7, Q(s3)=3/7符号的极限概率 P(a k) =3iki1Q(s)Pa| =1,2i所以 P(a1)=Q(s1)P(a1|s1)+ Q(s2)P(a1|s2)+ Q(s3)P(a1|s3)=3/7,P(a2)=2/7, P(a3)=2/7(2) 信源处于某一状态下的输出符号的条件熵H(X|sj)= - j=1,2,331(|)log(|)kjkjkPass=H(X|s1)= - P(a1|s1)log P(a1|s1) - P(a2|s1)log P(a2|s1) - P(a3|s1)l

33、og P(a3|s1)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5 比特/符号H(X|s2)=H(0,1/2,1/2)=1 比特/ 符号H(X|s2)=H(1,0,0)= 0 比特/ 符号（3）马尔可夫信源熵H =31()|)jjkQsX= Q(s1)H(X|s1)+ Q(s2)H(X|s2)+ Q(s3)H(X|s3)=2/71.5+3/71+0=6/7 比特/符号0.857 比特/符号2.25 黑白气象传真图的消息只有黑色和白色两种，即信源 X 黑，白，设黑色出现的概率为 P（黑）0.3，白色的出现概率为 P（白） 0.7。（1） 假设图上黑白消息出现前后没

34、有关联，求熵 H（X ） 。（2） 假设消息前后有关联，其依赖关系为 P（白|白） 0.9，P （黑|白）0.1，P（白|黑）0.2，P（黑| 黑）0.8，求此一阶马尔可夫信源的熵 H2。（3） 分别求出上述两种信源的剩余度，并比较 H（X ）和 H2 的大小，并说明其物理意义。解：（1）如果图上黑白消息出现没有关联，则熵为：H（X）=H（0.7，0.3）=0.881bit/符号（2）设白为 w，黑为 b 那么对应两种状态 Sw 和 Sb 那么转移概率为Sw Sb 0.1Sw Sw 0.9Sb Sw 0.2Sb Sb 0.8则 Q（S w）=0.9 Q（S w）+0.2 Q（S b）Q（S b

35、）=0.8 Q （S b）+0.1 Q （S w）Q（S b）+ Q（S w）=1由以上三式可得出 Q（S w）=2/3，Q（S b）=1/3所以 P（w）= Q（S w）*0.9+ Q（S b）*0.2=2/3P（B） = Q（S w）*0.1+ Q（S b）*0.8=1/3由以上可得到：H2=H（ 0.9，0.1 ）*2/3+ H（0.8，0.2）*1/3 =0.554bit/符号（3）最大熵 H0=H（0.5，0.5）=1，则信源一的剩余度为 1-0.881=0.118信源二的剩余度为 1-0.554=0.446推出 H（x）H 2这说明消息前后有关联的熵小于信息前后没有关联的熵，即传送相同符号数后消息前后无关联所获得的信息量大于前后有关联的信息量。