第3章离散信道及其信道容量.ppt

1、第三章 信道及其容量,信道的任务是以信号方式传输信息和存储信息。研究信道中能够传送或存储的最大信息量，即信道容量。,3.1 信道的数学模型和分类,图3.1.1 数字通信系统的一般模型,3.1 信道的数学模型和分类,一、信道的分类 根据载荷消息的媒体不同,根据信息传输的方式,根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道根据信道输入端和输出端的关联： 无反馈信道 反馈信道根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道,二、离散信道的数学模型,条件概率 P(y/x) 描述了

2、输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。,根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况： 无干扰信道有干扰无记忆信道有干扰有记忆信道,(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即：y f (x),(2)有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。,(3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理

3、想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。,三、单符号离散信道,单符号离散信道：输入符号为X，取值于a1,a2, ,ar。输出符号为Y，取值于b1,b2, ,bs。条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。,信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。一般简单的单符号离散信道可以用X, P(y/x) ,Y 三者加以描述。其数学模型可以用

4、概率空间X, P(y/x) ,Y描述。当然，也可用下图来描述：,例1 二元对称信道，BSC，Binary Symmetrical Channel,解：此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。传递概率:,p是单个符号传输发生错误的概率。（1-p）表示是无错误传输的概率。 转移矩阵:,0 101,符号“2”表示接收到了“0”、“1”以外的特殊符号,0 2 101,例2二元删除信道。BEC，Binary Eliminated Channel,解：X:0，1 Y:0，1，2此时，r 2，s 3，传递矩阵为：,一般离散单符号信道的传递概率可用矩阵形式表示，即,矩

5、阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。,3.2 信道疑义度与平均互信息,本节进一步研究离散单符号信道的数学模型下的信息传输问题。,一、信道疑义度,信道输入信源X的熵,H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为先验熵。,接受到bj后，关于X的不确定性为,后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵-信道疑义度：,这是接收到输出符号bj后关于X的后验熵。 后验熵是当信道接收端接收到输出符号bj后，关于输入符

6、号的信息测度。,互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量,即：互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量,对于无干扰信道，I(xi ; yj) = I(xi)；,对于全损信道，I(xi ; yj) = 0；,二、平均互信息,平均互信息I(X; Y)： I(xi ; yj)的统计平均。,它代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。,关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。 若互信息I(x ; y)=

7、 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量-全损信道。,I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY)其中：,平均互信息与各类熵的关系,平均互信息与各类熵之间关系的集合图（维拉图）表示： H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y),H(X),H(Y),H(X/Y),H(Y/X),I(X;Y),图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y

8、的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。,两种特殊信道,（1）、离散无干扰信道 ( 无损信道 ),信道的输入和输出一一对应，信息无损失地传输，称为无损信道。 H(X|Y) = H(Y|X) = 0 损失熵和噪声熵都为“0” 由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y),（2）、输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立,H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y) 信道

9、的输入和输出没有依赖关系，信息无法传输，称为全损信道。 接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。,二种极限信道各类熵与平均互信息之间的关系,H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0,H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y),无损信道：完全重迭,全损信道：完全独立,无损信道：,全损信道：,3.2 平均互信息的性质,平均互信息 I(X;Y) 具有以下特性：（1）非负性 即 I(X;Y) =

10、0 当X、Y统计独立时等式成立。（2）极值性 即 I(X;Y) = H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。,（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y),（4）凸状性,所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y/x)的函数，即： I(X;Y) = f P(x), P(y|x),平均互信息I(X;Y)是输入信源的概率分布P(x)的型凸函数。,（1）对固定信道，选择不同的信源(其概率分布不同)

11、与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。（2）对于每一个固定信道，一定存在有一种信源(某一种概率分布P(x)，使输出端获得的平均信息量为最大。,平均互信息I(X;Y)是信道传递的概率P(y/x)的型凸函数。,当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰 (噪声) 最大，而输出端获得的信息量最小。,3.3 离散无记忆信道的扩展信道,离散无记忆信道 ( DMC，Discrete Memoryless Channel) ，其传递概率满足：,仍可用 X，P( y / x )，Y 概率空间来描述

12、。设离散无记忆信道的输入符号集Aa1， ， ar，输出符号集Bb1 ， ， bs，信道矩阵为:,则此无记忆信道的N次扩展信道的数学模型如图所示:,而信道矩阵：,其中：,例3 求二元无记忆对称信道（BSC）的二次扩展信道。解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A00，01，10，11，共有224个符号，输出符号集为B 00，01，10，11。由于是无记忆信道，可求得二次扩展信道的传递概率：,信道矩阵：,根据平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息：,若信道的输入随机序列为X= (X1X2XN)，通过信道传输，接收到的随机序列为Y(Y1

13、Y2YN)。假若信道是无记忆的，即信道传递概率满足：,则有：,式中Xi Yi是对应第 i 位的随机变量。若信源是无记忆的，则等式成立。,直观分析：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少,若信道的输入随机序列为X= (X1X2XN)，通过信道传输，接收到的随机序列为Y(Y1Y2YN)。假若信源是无记忆的，则有：,其中Xi和Yi是随机序列X和Y中的第 i 位随机变量。直观分析：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。若信道和信源都是无记忆的，则：,研究信道的目的是要讨论信道中平均每个符号所能传送的信息量-信息传输率

14、R平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。所以： R = I(X;Y) = H(X) H(X|Y) (比特/符号),3.4 离散信道的信道容量,信道中每秒平均传输的信息量-信息传输速率Rt,Rt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特/秒）,一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。即存在一个最大的信息传输率 -定义为信道容量C,（比特/符号）,(Bit/s),Ct仍称为信道容量,若平均传输一个符号需要 t 秒钟，则信道在

15、单位时间内平均传输的最大信息量为Ct：,即：,例4 信道容量的计算,因此，二元对称信道的信道容量为：,二元对称信道，I(X;Y),(比特符号),离散无噪信道,二、简单离散信道的信道容量,例如：,其信道矩阵是单位矩阵：,满足： I(X;Y)=H(X)=H(Y),有噪无损信道：,接收到符号Y后，对X符号是完全确定的。 损失熵H(X/Y)=0， 但噪声熵H(Y/X)0,其信道矩阵：,所以 ： I(X;Y)=H(X)H(Y),无噪有损信道,满足： I(X;Y)=H(Y)C，总可以找到一种编码，当L足够长时，译码错误概率 ，为任意大于零的正数。反之，当RC时，任何编码的 必大于零，当 时， 。,与无失真

16、信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。编码技术研究人员在该理论指导下致力于研究实际信道中各种易于实现的具体编码方法。二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。我们将在第六章介绍信道编码的典型编码方法。,