1、第四章 信道及其容量,信道及其容量,4.1信道分类4.2离散无记忆信道4.3信道的组合4.4时间离散的无记忆信道4.5波形信道,4.1信道分类,4.1信道分类,离散信道：输入输出均为离散事件集连续信道：输入输出空间均为连续事件集半连续信道：输入和输出一个是离散的，一个是连续的时间离散的连续信道：信道输入和输出是连续的时间序列波形信道：输入和输出都是时间的实函数x(t), y(t),4.1 信道分类,两端信道多端信道恒参信道：参数不随时间变化随参信道：参数随时间变化无记忆信道和有记忆信道对称信道和非对称信道,4.2 离散无记忆信道,离散无记忆信道(定义4.2.1,4.2.2),平稳信道,例：二元
2、对称信道,p=0.1,信道容量,信道容量,定义4.2.3 离散无记忆信道的信道容量定义为：即C为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的分布称为最佳分布。信道容量表示了信道传送信息的最大能力,定理4.2.1,对于DMC，N长序列的信息传输问题可以归结为单个符号的信息传输问题,定理4.2.2,Q=Q0,Q1,QK-1达到信道容量的充要条件,在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息量大于其它任何输入与所有输出之间的平均互信息，则可以通过经常的采用该特定输入k增大I(X ; Y),对称DMC容量的计算,信道转移概率矩阵,对称DMC容量的计算,若信道转移概率
3、矩阵所有行矢量都是第一行的置换，称为关于输入对称。,对称DMC容量的计算,P的所有列都是第一列的一种置换，关于输出是对称的当输入事件等概，Qk=1/K,对称DMC的容量计算,输出集Y可划为若干和子集,每个子集对应的信道转移概率矩阵P中列所组成的子阵具有下列性质每一行都是第一行的置换每一列都是第一列的置换 该信道称为准对称信道关于输入对称Y的划分只有一个时，关于输入和输出均对称，称为对称信道 （例）,对称DMC容量的计算,定理4.2.3 实现准对称DMC信道容量的输入分布为等概分布,YS：子阵中每一列都是第一列置换,对每个j相同,对每个k相同,对称DMC容量计算,K元对称信道: C = logK
4、 - H(p) - plog(K-1)二元对称信道: C = 1 - H(p)准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log(1-q)/2)二元纯删除信道: C=1-q,离散无记忆模K加性噪声信道,Z=X=Y=0,1,K-1y=x+z mod K,一般DMC的容量计算,信道转移矩阵是非奇异方阵，假定所有Qk0,一般DMC的容量计算,4.3 信道的组合,积信道,C1maxI(X1;Y1)C2maxI(X2;Y2)信道1和信道2同时传递消息，输入集X=X1X2,输出集Y=Y1Y2,转移概率p(jj|kk)=p(j|k)p(j|k)C=C1+C2,和信道,单位时间内
5、可随机选用信道1和信道2中的一个，选用信道1的概率为p1，选用信道2的概率为p2， p1p21输入空间X=X1+X2， Y=Y1+Y2，,级联信道,信道1的输出作为信道2的输入,4.4 时间离散的无记忆连续信道,时间离散的连续信道,时间离散信道无记忆信道平稳(恒参)信道,可加噪声信道,p(y|x)=p(y-x)=p(z),信道容量为对于所有的输入分布求H(Y)的最大值,可加噪声信道,高斯噪声信道,输入为正态分布,在此条件下,输出也为正态分布,平均功率受限的可加噪声信道,功率受限的时间离散信道容量,输入信号平均功率不超过S的时间离散信道容量定义为：无记忆平稳条件下,平均功率受限的时间离散、恒参、
6、可加高斯噪声信道容量,最佳输入分布是均值为0，方差为S的高斯型分布,平均功率受限时间离散恒参可加噪声信道容量,给定信号功率，高斯信道是最差的信道，在它的作用下信道容量最小,平行可加高斯噪声信道(注水定理),x=(x1,xN), y=(y1,yN),注水定理的说明,积信道当各分信道的干扰功率不等，需要对输入信号总能量进行适当分配比较门限B迭代算法,4.5 波形信道,波形信道,信道的输入、输出都是任意时间的函数波形信道或时间连续的连续信道,可加波形信道,y(t)=x(t)+z(t),可加波形信道,可加波形信道,波形信道,可加波形信道,Shannon公式,N=2WT,W趋于无穷大，单位时间的信道容量,Shannon极限-1.59dB,Shannon定理,信道带宽W，若信噪比SNR是P/s2,能传送多少比特信息？可以利用Nyquist准则和信息论的基本知识推导Shannon公式。,
