1、3.2.2 几种特殊离散信道的信道容量,一、离散无噪信道的信道容量 离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类：,1.具有一一对应关系的无噪信道 （无损确定信道）2.具有扩展性能的无噪信道（无损信道）3.具有归并性能的无噪信道（确定信道）,1,损失熵H(X/Y)与噪声熵H(Y/X),H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号集Y之后平均每个符号所获得的关于输入集X的信息量。H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为
2、H(Y/X)=H(Y)-I(X;Y) 噪声熵等于输出信源Y所含有的信息量减去信道输出端接收到符号集Y之后平均每个符号所获得的关于输入集X的信息量。,2,1.具有一一对应关系的无噪信道（无损确定信道）,无损确定信道的输入和输出是一一对应关系，如右图所示。,3,1.具有一一对应关系的无噪信道（无损确定信道）,X和Y有确定的对应关系，即已知X后Y没有不确定性，反之，亦然。信道的噪声熵H(Y/X)和损失熵H(X/Y)均等于零。故无损确定信道的平均互信息为 I(X;Y)=H(X)=H(Y) 它表示信道输出端接收到符号Y后，平均获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。当信源
3、等概分布时，具有一一对应的确定关系的无噪信道达到其信道容量，其值就是信源X的最大熵值。,4,2.具有扩展性能的无噪信道（无损信道）,无损信道的一个输入对应多个互不相交的输出，如右图所示。信道矩阵中每列中只有一非零元素，即已知Y后，X不再有任何不确定度。故损失熵H(X/Y)=0,5,2.具有扩展性能的无噪信道（无损信道）,在这类信道中，因为信源发生符号xi，并不能确定在信道输出端会发生哪个yj，因此噪声熵H(Y/X) 0。于是，可求出无损信道的平均互信息为 I(X;Y) = H(X) H(Y)其信道容量,6,3.具有归并性能的无噪信道（确定信道）,确定信道的一个输出对应着多个互不相交的输入，如右
4、图所示。信道矩阵中每行中只有一非零元素，即已知X后，Y不再有任何不确定度。故噪声熵H(Y/X)=0,7,在这类信道中，信道输出端接收到某个yj以后，并不能断定是哪一个输入符号xi，因此损失熵H(X/Y) 0。于是，可求出确定信道的平均互信息为 I(X;Y) = H(Y) H(X)其信道容量 达到此类信道的信道容量的概率分布是使信道输出分布为等概分布的输入分布。,3.具有归并性能的无噪信道（确定信道）,8,对于无噪信道，求信道容量C的问题，已经从求I(X;Y)的极值问题退化为求H(Y)或H(X)的极值问题。无噪信道的信道容量C只决定于信道的输入符号n，或输出符号数m，与信源无关，是表征信道特性的
5、一个参量。,离散无噪信道（总结）,9,3.2.2 几种特殊离散信道的信道容量,信道矩阵具有对称性的特殊信道,二、强对称离散信道 （均匀信道）三、对称离散信道四、准对称离散信道,10,二、强对称离散信道（均匀信道）,如果信道输入符号和输出符号个数相同，且信道矩阵为 则称此信道为强对称信道或均匀信道。信道矩阵中不仅每行之和等于1,每列之和也等于1。,11,强对称信道的几个特性,强对称信道是对称信道的一个特例；输入符号数与输出符号数相等；信道中总的错误概率为p，对称地平均分配给n-1个输出符号，n为输入符号的个数；均匀信道中不仅各行之和为1,而且各列之和也为1。 一般信道各列之和不一定等于1,12,
6、强对称信道的信道容量C,13,二进制均匀信道的信道容量C,p,C,14,离散输入对称信道,定义：若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。 矩阵的行是可排列的。,15,离散输出对称信道,定义：若一个离散无记忆信道的信道矩阵中，每一列都是其它列的同一组元素的不同排列，则称此类信道为离散输出对称信道。 矩阵的列是可排列的。,16,三、对称离散信道,定义：若一个离散无记忆信道是关于输入和输出对称的，这类信道称为对称信道。 矩阵具有可排列性：矩阵的行和列都是可排列的。,17,对称信道的信道容量C,18,对称信道的信道容量C（例）,19,四、准对称离散信道,定义：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y（即信道矩阵的列）可以将信道划分成s个子集（子矩阵），每个子矩阵中的每一行（列）都是其它行（列）的同一组元素的不同排列，则称这类信道为离散准对称信道。 矩阵的行是可排列的，列不可排列。 子矩阵具有可排列性。,20,准对称信道的信道容量C,21,准对称信道的信道容量C（续）,22,准对称信道的信道容量C（例）,23,
