信息论题.doc

1、习 题一、填空1、 1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。2、 事物的不确定度是用时间统计发生 概率的对数 来描述的。3、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。4、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。5、 必然事件的自信息是 0 。6、 不可能事件的自信息量是 。7、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。8、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。9、 离散平

2、稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。10、离散平稳有记忆信源的极限熵， H)/(lim121N 。11、对于 n 元 m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。12、一维连续随即变量 X 在 a，b区间内均匀分布时，其信源熵为 log2（b-a） 。13、平均功率为 P 的高斯分布的连续信源，其信源熵，H c（X）=ePlog。14、对于限峰值功率的 N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。15、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。16、若把掷骰子的结果作为一离散信源，则其信源熵为

3、log26 。17、若一维随即变量 X 的取值区间是 0，其概率密度函数为mxep1)(，其中：0x， m 是 X 的数学期望，则 X 的信源熵 )(HCe2log。18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。20、具有一一对应关系的无噪信道的信道容量 C= log2n 。21、对于离散无记忆信道和信源的 N 次扩展，其信道容量 CN= NC 。22、信道矩阵102/代表的信道的信道容量 C= 1 。23、信道矩阵 代表的信道的信道容量 C= 1 。24、高斯加性噪声信道中，

4、信道带宽 3kHz，信噪比为 7，则该信道的最大信息传输速率Ct= 9 kHz 。25、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。26、单符号的失真度或失真函数 d（x i，y j）表示信源发出一个符号 xi，信宿再现 yj 所引起的 误差或失真 。27、汉明失真函数 d（x i，y j）= ji10。28、平方误差失真函数 d（x i，y j）=（y j- xi） 2。29、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。30、如果规定平均失真度 D不能超过某一限定的值 D，即： 。我们把 D称为 保真度准则 。31、试验信道的集合用 PD 来表示，则

5、 PD= mjniDxypij ,21,;:)/( 。32、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。33、平均失真度的下限取 0 的条件是失真矩阵的 每一行至少有一个零元素 。34、平均失真度的上限 Dmax 取D j：j=1，2，m中的 最小值 。35、率失真函数对允许的平均失真度是 单调递减和连续的 。36、对于离散无记忆信源的率失真函数的最大值是 log2n 。37、当失真度大于平均失真度的上限时 Dmax 时，率失真函数 R（D）= 0 。38、连续信源 X 的率失真函数 R（D）= );()/(YXIPxypf。39、保真度准则下的信源编码定理的条

6、件是 信源的信息率 R 大于率失真函数 R（D ） 。40、某二元信源 2/10)(P其失真矩阵 D=0a，则该信源的 Dmax= a/2 。41、某二元信源/)(X其失真矩阵 D=，则该信源的 Dmin= 0 。42、信源编码的目的是： 提高通信的有效性 。二、判断1、 必然事件和不可能事件的自信息量都是 0 。错2、 自信息量是 )(ixp的单调递减函数。对3、 单符号离散信源的自信息和信源熵都具有非负性。对4、 单符号离散信源的自信息和信源熵都是一个确定值。错5、 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对6、 自信息量、条件自信息量和联合自信息量之间有如下关系

7、：)/()/()( jijijiji yxIxyIyxI 对7、 自信息量、条件自信息量和互信息量之间有如下关系：; ijjjiiji 对8、 当随即变量 X 和 Y 相互独立时，条件熵等于信源熵。对9、 当随即变量 X 和 Y 相互独立时，I（X；Y ）=H（X ） 。错10、信源熵具有严格的下凸性。错11、平均互信息量 I（X；Y）对于信源概率分布 p（x i）和条件概率分布 p（y j/xi）都具有凸函数性。 对12、m 阶马尔可夫信源和消息长度为 m 的有记忆信源，其所含符号的依赖关系相同。 错13、利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极限熵。 对14、一维高斯

8、分布的连续信源，其信源熵只与其均值和方差有关。 错15、连续信源和离散信源的熵都具有非负性。 错16、连续信源和离散信源都具有可加性。 对17、连续信源和离散信源的平均互信息都具有非负性。 对18、信道容量 C 是 I（X；Y）关于 p（x i）的条件极大值。 对19、离散无噪信道的信道容量等于 log2n，其中 n 是信源 X 的消息个数。 错20、对于准对称信道，当 myj1)(时，可达到信道容量 C。错21、信道无失真传递信息的条件是信息率小于信道容量。对22、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对23、当 p（x i） 、p（y j/xi）和 d（x i，

9、y j）给定后，平均失真度是一个随即变量。 错24、率失真函数对允许的平均失真度具有上凸性。对25、率失真函数没有最大值。 错26、率失真函数的最小值是 0 。对27、率失真函数的值与信源的输入概率无关。错28、信源编码是提高通信有效性为目的的编码。 对29、信源编码通常是通过压缩信源的冗余度来实现的。 对三、简答1、 简述自信息的性质。2、 简述信源熵的基本性质。3、 简述信源熵、条件熵、联合熵和交互熵之间的关系。4、 简述一般离散信道容量的计算步骤。5、简述率失真函数的性质。6、简述求解一般离散信源率失真函数的步骤。7、试比较信道容量与信息率失真函数。四、证明1、 最大离散熵定理：信源 X

10、 中 n 个不同离散消息时，信源熵 H（X）有H2log)(当且仅当 X 中各个消息出现的概率全相等时，上式取等号。2、 证明平均互信息量的极值性，即： )(;(YI，并说明等式成立的条件。3、 证明条件熵小于信源熵，即： )/，并说明等式成立的条件。4、 设 X=X1， X2，X N 是平稳离散有记忆信源，试证明：H（X 1X2XN）=H（X 1）+H（X 2/X1）+H（X N/X1X2XN-1）五、计算1、设有一个信源，它产生 0，1 序列的信息。它在任意时刻且不论以前发生过什么符号，均按 P（0）=0.4,P(1)=0.6 的概率发出符号。试计算：（1）H（X 2） （2）H（X 3/

11、X1X2） （3） )(limHN2、黑白气象传真图的消息只有黑色和白色两种，设黑色出现的概率为 0.3，白色出现的概率为 0.7，且消息前后有关联，其以来关系为 P（白/白） =0.9，P （黑/白）=0.1，P（白/黑）=0.2。P（黑/黑）=0.8，求此一阶马尔可夫信源的熵 H2（ X） 。3、已知随即变量 X 和 Y 的联合分布如下所示：0 10 1/3 1/31 0 1/3试计算：H（X） 、H（Y） 、H （XY） 、H（X/Y ） 、H （Y/X） 、H（X；Y ）4、已知信源 X 和条件概率 P（Y/X ）如下：2/)(1xP 4/3/14/3)/( 2221 xyxyXY试计

12、算：H（X） 、H（Y） 、H （XY） 、H（X/Y ） 、H （Y/X） 、H（X；Y ）5、设二元对称信道的传递矩阵为/21求该信道的信道容量及达到信道容量时的输入概率分布。YX6、设二进制对称无记忆信道，信道矩阵为P=p，其中：0p p1，p+ =1。试计算：（1）P代表的信道的信道容量 C；（2）N=3 次扩展无记忆信道的信道矩阵P 3；（3）P 3代表的信道的信道容量 C3。7、设离散无记忆信源 /1/)(21xXP其失真度为汉明失真度。试计算：（1）D min 及 R（D min）（2）D max 及 R（D max）8、若某无记忆信源 6/132/)(1xXP，失真矩阵 D= 132，求该信源的最大和最小失真度。