1、2.7 离散无记忆信源的扩展2.3 每帧电视图像可看成是由 个独立变化的像素组成的，每个像素又取 1285103个不同的亮度电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约 10000 个汉字中选 1000 个字来口述这一电视图像， （1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？答案：王虹解：设电视图像每个像素取 128 个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为 12812,()()8iiiXaaPP得每个像素亮度含有的信息量为：
2、()log7H比 特 像 素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。N得每帧图像含有的信息量为6()()2.10NX比 特 每 帧广播口述时，广播员是从 10 000 个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是1,2, 1(),10()qjijYbPbPq得该汉字字汇中每个汉字含有的信息量2log03.9H比 特 字广播员口述电视图像是从此汉字字汇信源中独立地选取 1000 个字来描述。所以，广播员描述此帧图像所广播的信息量为442()()1log1.0NY比 特 千 字若广播员仍从此汉字字汇信源 中独立地选取汉字来描述电视图像，每次
3、口述一个汉字含有信息量是 ,每帧电视图像含有的信息量是 ,则广播员口述此图像至少需用的() ()NHX汉字数等于652.10.8180()39NHXY字 字2.5 一副充分洗乱的牌（含 52 张） ，试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取 13 张牌，13 张牌的点数互不相同时的不确定性是多少？解：（1）一副充分洗乱的扑克牌，共有 52 张，这 52 张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为67528.01P因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。设事件 A 为任一特定排列，则其发生概率为681.2405PA可得，任一特定排
4、列所给出的信息量为比特 22logl5.I哈特6791（1） 设事件 B 为从中抽取 13 张牌，所给出的点数都不同。扑克牌 52 张中抽取 13 张，不考虑其排列顺序，共有 种可能的组合。而扑克牌352C中每一种点数有 4 种不同的花色。而每一种花色都有 13 张不同的点数。13 张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为 。134因为牌都是充分洗乱的，所以在这 种组合中所有的点数都不相同的事件都是等概率发1352C生的。所以13 45249.0681PB则事件 B 发生所得到的信息量为比特1325logl.I C哈特.9762.6 平均互信息及其
5、性质2.6 设随机变量 和 的联合概率空间为12,0,Xx12,0,Yy122()()()()838YyxyP 定义一个新随机变量 （普通乘积） 。Z（1）计算熵 、 、 、 、 以及 ；()H()Z()HX()Z()HXY（2）计算条件熵 、 、 、 、 、|X|Z、 、 以及 ；(|)ZY| Y（3）计算互信息量 、 、 、 、 以及(;)IY(;)I(;)I(;|)I(;|)I；;|IX解 （1） 130,0,82pxypxy1log1iiiHXPx130,0,082pyypxy1xbit/symbollog1jjjYy的概率分布如下ZXY07()8zP1271()()logl)0.54
6、/8kKHZpbitsymol由 得xzzx1(0,)(0)0)2ppx1 3(,)()()01)(,0)81, 11,xzxzpyxpypxzpxzx3()()logllog.406/288ikikHXZ btsym由对称性可得 1.406/Ybtsyml()(),()1pxyzpzxz由 又 要 么 等 于 ， 要 么 等 于 10, (0,)(0,)8ypxypxy(1)(0,) 3, 1(,1)(,1)(0)(,)01, (,)(,0)8()xyzxzppzypzxyxyxpxypzp (1,)1,0(0,)1(1)(,)(,)8zypxyxyxpxy 2log()1331loglll
7、.81/88ijkijkijkHXYZpyzpxyzbtsmol （2）H p p =-XYijjiyx2ji symbolit/81.log83llog81l H =H -H/ symlbitY/.0.1H =H -HYoX1H =H -HZX/ sylit/862.54.6.H =H -Hmb01H =H -HY/ syolit/.H =H -HZY46H =H -HX/ symlbitZ/05.18.H =H -HYoXH =H -HZ/ sylitY/.(3)molbitHYXI /189.0./: syZXZ362litYI /.1/: symolbitHYX /457.080/ X
8、ZZI 6.1./: sylitY/./2.5 联合熵和条件熵2.10 任意三个离散随机变量 、 和 ，求证：XZ(1) ()()(|)(;|)HXYZHYI证明：（1） 方法一：利用定义证明。左边= ,= ijiijiZYX zyxpzyxplog右边= XYIH|;|,= ijijZYiijZYX xypzxzxpzyx |loglogijiijZYXp|l= ijiiiijZYX xzpyxyzxpzyx |log= jiijiiiij yp|l= ijiijiiijZYX xpxzpzyzxpzyx |log= ijiijiiij yp |l= ijiiiiijZYX xpzxypzx
9、zyx |log= ijijp得证方法二：利用性质证明。因为XYHYXHYXI |；所以ZZI |；可得XYHYXH|,ZZ|,XYZIHX|；2.10 （2） 任意三个离散随机变量 、 和 ，求证：。()()()(YZ(2)要证明不等式 成立，等价证明下XHZYXHY,Z,式成立：0, 根据熵函数的定义 rjiiriji XYZrjiXYZrirj rjiirji ijirXYZrjirijirji iXYZrjiriXYZrji jijijiji zyxpzxpyHHe zyxpzxpye xpyzzyxpxzxzypxzyxp yzyH 等 号 成 立 的 条 件 为所 以 ,01log
10、|log 1logll loglogpp,得证 2.11 连续随即变量的熵和平均互信息量2.12 设连续随即变量 X 的概率密度函数为 其 他 axbxf 0=)(2（1）求 X 的熵；（2）求 的熵；)0(+=AY（3）求 的熵。解：（1）(babeaInxdebfbxdffxhaxaalog32log9=)9logl log2)(=l)(og)()(3 330020_-因为1)(_0dxfa所以23=ab故 aeaxhlog+3log2=log32)(_-若)0(_1Axy则=_yd所以 aexhylog+3log2=)(_1_-若 _2xy则 21=_ydx所以 aexhylog+23l
11、og=1)(_2_-3.4 信道的疑义度、散布度和平均互信息3.2 设离散无记忆信源 通过离散无记忆信道 传送信息，设信源的概X|,YXP率分布和信道的线图分别为4.0621aPX1a2a1b2b0.80.9试求：（1）信源 的符号 和 分别含有的自信息；12（2）从输出符号 所获得的关于输入符号 的信息量；(,)jb(1,)ia（3）信源 和信道输出 的熵；XY（4）信道疑义度 和噪声熵 ；|H(|)X（5）从信道输出 中获得的平均互信息量。解：(1) /符号 1()log0.736Iabit/符号212.4(2) ZYYP= 0.8.6.50.481912(;)()IabIb= /符号0.
12、43.61bit1221(;)()II= /符号.589.0.3it2112;abba= /符号0.943.2.3786bit2(;)()IabIba= /符号1.58.0.9it(3) /符号()6734120.71HZbit/符号.2.8598Y(4)、(5)/符号1()(0.,).0321.320.719abit/符号299546HY/符号().67.46.z bit/符号;()08207.381IYz又根据 ;()IZHZ()(;I= /符号0.971.380.592bit3.3 设有一批电阻，按阻值分：70% 是 2 ，30%是 5 ；按功率分：64%是 1/8kk，其余是 1/4
13、。现已知 2 阻值的电阻中 80%是 1/8 。问通过测量阻值可以平均WkW得到的关于瓦数的信息量是多少？解：设阻值信源为 ，Z5010.7.3.73ZP设功率信源为 Y10184.6.30.6.3YW1a2a1b2b0.954共 70% 0.56214K8W0.852K14W/符号1()(0.,2).719HYabit245logl51= 4.96.11= /符号0.8.30.867bit/符号()72.53HYZit/符号.649.1492(;)()0.47.6IYHYZ= /符号0.86bit3.5 求下列二个信道的信道容量及其最佳的输入概率分布。1a2a12b346161a2a1b2b0.98.0.98解：图 3.8 中两信道的信道矩阵为1136P其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得比特/符号111log4,0.8173636CH最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。现计算这二元对称信道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵0.982.P
