1、一 、 红军填空题 空军 1948 年 , 海军 美国数学家 陆军 香农 陆军 陆军 发表了题为“通信的数学理论”的长篇论文 , 海军 从而创立了信息论 。 空军空军 信道的输出仅与信道当前输入有关 , 海军 而与过去输入无关的信道称为 陆军无记忆 陆军 信道 。 空军 信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 陆军 也越小 陆军 。 空军 空军 单符号的失真度或失真函数 d( xi, 海军 yj) 水军 表示信源发出一个符号 xi, 海军信宿再现 yj所引起的 陆军 误差或失真 陆军 。 空军空军 4、 红军 陆军 对于香农编码 、 红军 费诺编码和哈夫曼编码 , 海军
2、 编码方法惟一的是 陆军 香农编码 陆军 。 空军 空军 5、 红军 陆军 对于二元序列 0011100000011111001111000001111111, 海军 其相应的游程序列是 陆军 23652457 陆军 。 空军空军 6、 红军 陆军 信道编码的最终目的是 陆军 提高信号传输的可靠性 陆军 。 空军空军 7、 红军 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X的熵的 N 倍 。 空军 空军 8、 红军 对于离散无记忆信道和信源的 N次扩展 , 海军 其信道容量 NC = 陆军 陆军 NC 陆军 陆军 空军 9、 红军 信道编码论定理是一个理想编码存在性理论 ,
3、海军 即 : 红军 信道无失真传递信息的条件是 陆军 信息传输速率小于信道容量 。 空军 陆军 空军 10、 红军 若纠错码的最小距离为 dmin ,则可以纠错任意小于等于 陆军 2 1min d 陆军 陆军个差错 。 空军 空军 空军 二 、 红军 判断题 空军 必然事件和不可能事件的自信息量都是 0 陆军 。 空军 错 空军 单符号离散信源的自信息和信源熵都具 有非负性 。 空军 对 空军 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的 。 空军 对 空军 自信息量 、 红军 条件自信息量和互信息量之间有如下关系 : 红军 空军 陆军 陆军 陆军 )/()()/()();
4、( ijjjiiji xyIyIyxIxIyxI 对 空军 当随即变量 X 和 Y 相互独立时 , 海军 条件熵等于信源熵 。 空军 对 空军 6、 红军 (错 陆军 )水军 m阶马尔可夫信源和消息长度为 m 的有记忆信源 , 海军 其所含符号的依赖关系相同 。 空军 陆军 陆军 空军 7、 红军 陆军 (对 陆军 )水军 利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极限熵 。 空军空军 8、 红军 陆军 (对 陆军 )水军 连续信源和离散信源的平均互信息都具有非负性 。 空军 陆军 陆军 空军 9、 红军 (对 陆军 )水军 定长编码的效率一般小于不定长编码的效率 。 空军
5、陆军 空军 三 、 红军设离散无记忆信源 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军X 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军a1=0 陆军 陆军a2=1 陆军 陆军a3=2 陆军 陆军a4=3空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆 军 陆军 陆军=空军 P(x)水军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军1/4 陆军 陆军 陆军1/4 陆军 陆军 陆军1/4 陆军 陆军 陆军1/4空军 其发生的消息为( 2021233321201230213
6、33031203210131) 水军求 空军 此消息的自信息是多少 ? 红军( 10 分 ) 水军 空军 此消息中平均每个符号携带的信息量是多少 ? 红军( 3分 ) 水军 空军 解 : 红军I(a1=0)水军=-log 陆军P(a1)水军=-log1/4= 陆军2 陆军 陆军比特 空军 陆军 陆军 陆军 陆军I(a2=1)水军=-log 陆军P(a2)水军=-log1/4= 陆军2 陆军 陆军比特 空军 I(a3=2)水军=-log 陆军P(a3)水军=-log1/4= 陆军2 陆军 陆军比特 空军 陆军 陆军 陆军 陆军I(a4=3)水军=-log 陆军P(a4)水军=-log1/4= 陆
7、军2 陆军 陆军比特 空军 此消息中共有 6 个“ 0” , 海军 8个“ 1” , 海军 9个“ 2” , 海军 10 个“ 3” , 海军 则得到消息的自信息量是 空军 陆军 陆军 陆军 陆军 陆军I=6I(a1=0)水军+ 陆军8I(a2=1)水军+ 陆军9I(a3=2)水 军+ 陆军10I(a4=3)水军 空军 陆军 陆军 陆军 陆军 陆军 陆军=6 2 8 2+9 2+10 2 空军 陆军 陆军 陆军 陆军 陆军 陆军 66比特 空军 ( 2) 水军 I2=I/33=66/33=2 陆军 比特 /符号 空军 四 、 红军 陆军 陆军 信源空间为 试分别构造二元和三元 哈 夫曼码 ,
8、海军计算其平均码长和编码效率 。 空军 空军 答 : 红军 1) 水军 二元码的码字依序为 : 红军 10, 海军 11, 海军 010, 海军 011, 海军 1010, 海军 1011, 海军 1000,海军 1001。 空军 平均码长 , 海军 编码效率 2) 水军 三元码的码字依序为 : 红军 1, 海军 00, 海军 02, 海军 20, 海军 21, 海军 22, 海军 010, 海军 011。 空军 平均码长 , 海军 编码效率 空军 五 、 红军一阶马尔可夫信源状态如下图所示 , 海军信源符号集为 0,1,2,求 空军 ( 1) 水军 平稳后的信源概率分布( 2) 水军 信源熵
9、 H ( 3) 水军 当 P 1 时信源的熵 , 海军 并说明它的意义 。 空军空军 空军 解 : 红军 陆军(1)水军 陆军 陆军 陆军 陆军 陆军1-P 陆军 陆军0 陆军 陆军 陆军P 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军P= 陆军 陆军 陆军 陆军P 陆军 陆军 陆军1-P 陆军 陆军0 空军 陆军 陆军 陆军 陆 军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军0 陆军 陆军 陆军 陆军P 陆军 陆军1-P 空军 空军 Q(0)水军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军1-P 陆军 陆军0 陆军 陆军 陆军P 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军
10、 陆军Q(0)水军 空军 陆军 陆军Q(1)水军 陆军 陆军 陆军= 陆军 陆军 陆军 陆军P 陆军 陆军 陆军1-P 陆军 陆军0 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军Q(1)水军 空军 Q(2)水军 陆军 陆军 陆军 陆军 陆军 陆 军 陆军 陆军0 陆军 陆军 陆军 陆军P 陆军 陆军1-P 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军Q(2)水军 空军 空军 且 : 红军 陆军 陆军 陆军 陆军 陆军 陆军Q(0)水军+Q(1)水军+Q(2)水军=1 空军 则有 陆军 陆军 陆军: 红军 陆军Q(0)水军=Q(1)水军=Q(2)水军=1/3 空军 即平稳后 : 红军P
11、(0)水军=P(1)水军=P(2)水军=1/3 空军 陆军 陆军 陆军 陆军 陆军(2)水军 陆军 H =H2=P(0)水军H(X/0)水军+P(1)水军H(X/1)水军+P(2)水军H(X/2)水军 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军=1/3H(1-P,0,P)水军+ 陆军1/3H(P,1-P,0)水军+ 陆军1/3H(0,P,1-P)水军 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军=-(1-P)水军log(1-P)水军-PlogP 陆军比特 /符号 空军 空军 陆军 陆军 陆军 陆军 陆军( 3) 水军p=1时 ,
12、 海军不确定度为 0, 海军说明信道进行保真传送 。 空军 空军 六 陆军、 红军 设输入符号与输出符号为 X=Y0,1,2,3,且输入符号的分布为P(X=i)水军=1/4,i=0,1,2,3, 陆军设失真矩阵为 : 陆军d0111101111011110空军 求 Dmax和 Dmin 及 R(Dmax)水军和 R(Dmin)水军,及相应的转移矩阵概率 . 陆军 空军 解 :空军 陆军 陆军 陆军 陆军d0111101111011110空军 信源熵为 陆军 H x( ) Log 4( ) 2 空军 根据最大平均失真度的定义有 : 红军 空军 Dmax=min P(u)水军d(u,v)水军 空军
13、 =min34 ,34 ,34 ,34 陆军 陆军 R(Dmax)水军 =0 空军 而最小平均失真度 空军 陆军Dmin= P(ui)水军mind(ui,vj)水军=0 空军 陆军 R(Dmin)水军 =R(0)水军 =H(X)水军 =log(4)水军 =2 空军 p y1( ) p y2( ) p y3( ) p y4( )只要满足 p(y1)水军 +p(y2)水军 +p(y3)水军 +p(y4)水军 =1 在 0,1区间可以任意取值 。 空军 空军 空军 七 、 红军 设分组码( n,k) 水军 中 , 海军 n=6, 海军 n=3, 海军 并按下列方程选取字中的码字 。空军空军 空军 求
14、信息序列 (a1a2a3)水军 变换成六位的八个码字 , 海军 并求出编码效率 。 空军空军 解 : 红军 空军 陆军 陆军 陆军 信息序列 陆军 陆军 陆军 陆军 陆军 陆 军 陆军 陆军 码字 空军 陆军 陆军 陆军 陆军 陆军 (a1a2a3)水军 陆军 陆军 陆军 陆军 陆军 陆军 (c1c2 陆军 c3c4c5c6)水军 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 000 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 000000 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 001 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 001011 空军 陆军 陆军 陆军 陆军
15、陆军 陆军 陆军 010 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 010101 空军 陆军 陆军 陆 军 陆军 陆军 陆军 陆军 100 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 100110 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 011 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 011110 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 101 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 101101 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 110 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 110011 空军 陆军 陆军 陆军 陆军 陆军 陆
16、军 陆军 111 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 111000 陆军 空军 陆军 陆军 陆军 编码效率 空军 八 、 红军 陆军 已知二元信源 0, 海军 1, 海军 其 p0=1/4,p1=3/4,试用式( 4.129) 水军 对序列11111100 编算术码 , 海军 并计算此序列的平均码长 。 空军空军 解 : 红军 根据算术编码的编码规则 , 海军 可得 : 红军 P(s=11111100)水军 陆军 = 陆军 P2(0)水军 P6(1)水军 陆军= 陆军 (3/4)水军6 陆军 (1/4)水军2空军 7)(1lo g SPl 空军 根据( 4.129) 水军 可得 :
17、 红军 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 F(S)水军 陆军 = 陆军 P(0)水军 陆军 + 陆军 P(10)水军 陆军 + 陆军 P(110)水军 陆军 + 陆军 P(1110)水军 陆军 + 陆军 P(11110)水军 陆军 + 陆军P(111110)水军 空军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 = 陆军 1sy yP )(= 陆军 1 陆军 陆军 P(11111111)水军 陆军 陆军 P(11111110)水军 陆军 陆军P(11111101)水军 陆军 陆军 P(11111100)水军 空军 陆军 陆军 陆军 陆军 陆
18、军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 陆军 = 陆军 1 陆军 P(111111)水军 陆军 = 陆军 1 陆军 (3/4)水军6 陆军 = 陆军 0.82202 陆军 = 陆军0.110100100111 空军 又 P(S)水军 陆军 = 陆军 A(S)水军 = 陆军 0.0000001011011001, 海军 所以 F(S)水军 陆军 + 陆军 P(S)水军 陆军 = 陆军0.1101010 空军 即得 C 陆军 = 陆军 0.1101010 陆军 陆军 得 S 的码字为 1101010 陆军 空军 1 0.9 1 0.1 0.1 0 0.9 0 平均码长 L 为 陆军 0.87
19、5。 空军 空军 空军 空军 空军 空军空军 空军 空军 空军空军 空军 空军 空军空军 空军 空军空军 空军 空军 空军空军 空军 空军 空军空军 空军 空军九 、 红军 有如下二进制对称信道 , 海军 若 P(0)水军 =0.4, 海军 求四种译码规则所对应的平均差错率 。 空军 空军 空军 空军空军 空军 空军 空军空军 空军 空军空军 空军 解 : 红军信道输入概率矩阵和信道转移概率矩阵为 : 红军 空军 空 军 空军 空军联合概率矩阵 : 红军 空军 空军 空军 空军 对于编码规则 F1: 红军 空军 空军 空军空军 空军 空军 空军空军 空军 对于编码规则 F2: 红军 空军 空军
20、 空军空军 空军 空军 空军空军 对于编码规则 F3: 红军 空军 空军 空军 空军空军 空军 空军 空军对于编码规则 F4: 红军 空军 空军 空军 空军 空军空军 空军 空军 陆军 空军 显然 , 海军译码规则 F2 最好 , 海军 陆军F3 最差 。 空军空军 9.01.0 1.09.0 6.0,4.0 | XYX PP 54.006.0 04.036.0 XYP 0)1( 0)0(:111 FFF6.0)04.036.0(1)1,0()0,0(1 )1),1()0),0(1),(1)( 211 ppFpFpbbFpFPjjje 1)1( 0)0(:222 FF1.0)54.036.0(1)1,1()0,0(1 )1),1()0),0(1),(1)( 212 ppFpFpbbFpFPjjje 0)1( 1)0(:333 FFF9.0)04.006.0(1)1,0()0,1(1 )1),1()0),0(1),(1)( 213 ppFpFpbbFpFPjjje 1)1( 1)0(:444 FFF4.0)54.006.0(1)1,1()0,1(1 )1),1()0),0(1),(1)( 214 ppFpFpbbFpFPjjje