1、第四章 信道容量 时间离散的连续信道,第十二讲,信道容量,DMC信道容量,信道容量计算,几种特殊类型的信道 无噪无损信道 有噪无损信道 无噪有损信道准对称DMC信道可逆矩阵信道N次扩展信道组合信道,最佳分布为等概,解方程、试解,NC,积信道、和信道、级联信道,信道1和信道2同时传送信息,积信道,最佳利用：,使每个分信道的输入相互独立，且分布为最佳,若任一时间随机选用（两者不能同时选用）,和信道,最佳利用：,并使每个分信道的输入分布为最佳,若将信道1的输出作为信道2的输入，信道1的输入集就是组合信道的输入集，信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道，又称串行信道。,级联信道
2、,转移概率,连续信道的容量,无记忆信道,恒参（平稳）信道,时间离散的连续信道,信道容量,可加噪声信道,若连续信道的条件概率密度满足,就称它为可加噪声信道，其中 称作加性噪声。,X与Z相互独立,可加噪声信道容量,噪声熵,在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。,可加噪声信道容量,噪声熵,在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。,【例】已知条件：给定一个可加噪声信道（1）干扰z与信道输入x相互独立（2）,，即,（3）,，即,求信道输入和输出之间的平均互
3、信息？,【解】由已知，信道输出y是两个正态分布的叠加，因而,，于是信道输入输出之间的互信息量为,【注】：当信道干扰给定下，若输入功率不受限制， I(X;Y)可为任意大。,定理1 平均功率受限的时间离散、恒参、可加高斯噪声 信道的容量为,平均功率受限的可加噪声信道容量,其中，S是输入平均功率的上限， 是均值为0的高斯噪声的方差。最佳输入分布就是均值为0、方差为S的高斯型分布。,平均功率受限的可加噪声信道容量,证明,对可加噪声信道有,（X与Z独立）,要使I(X;Y)最大，即要,最大，从而,此时有,从而可得,要使Y正态分布，,平均功率受限的可加噪声信道容量,定理2（平均功率受限的可加非高斯噪声信道）
4、 平均功率受限、时间离散、恒参、可加噪声信道的容量,其中，,是Z的熵功率。,在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。,【注】,证明：,在可加噪声下，信道输出功率为,输出熵为,由,可知,即上限成立。,平均功率受限的可加噪声信道容量,平均功率受限的可加噪声信道容量,熵功率不等式对于集合X,Y,Z,若,且X,Z是相互独立、均值为0，则,若选择输入功率为S,的高斯信号x，由上不等式左边部分，有,从而,即下限成立。,平行可加高斯噪声信道容量,最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。,N个独立并行信
5、道的组合,平行可加高斯噪声信道容量,若各时刻上的噪声都是均值为0，方差为 的高斯噪声，此时信道容量为,当且仅当输入信号X各分量统计独立，并都是均值 为0，方差为S的高斯变量时等号成立。,若各时刻上的噪声仍是均值为0，但方差为不同的高斯噪声时，情况怎样呢？,平行可加高斯噪声信道容量,若信道输入为,，输出为,信道干扰 z ,，则信道容量为,约束条件为,当输入各分量服从,时达到信道容量。,应该如何取值，才能使,在约束条件,下取最大值？,问题：,平行可加高斯噪声信道容量,并行可加高斯噪声（AWGN）信道的组合信道的容量,其中，,是噪声在各单位时间上的方差，B为常数。,时，选,当,时，选,Sn的选择应该
6、这样进行：,当,平行可加高斯噪声信道容量,这个结果形象的解释就是将信道看作是底部由干扰方差所决定的起伏不平的容器，将信号能量E看作是水，将这些水倒入容器中就形成一个高为B的水平面。当 时，就没有水注入该单元； 越小，进入该单元的水就越多，即分到的能量就越大。,注水定理,用拉格朗日乘因子法来求解极值问题。,令,，可得,从而,将上式代入约束条件,即,（各分量平均功率的算术平均值）,首先作辅助函数,可得,综上，各信道的输出功率应相等，且等于各分量平均功率的算术平均值时，即,才能保证联合信道容量最大。,注意求解过程中，并没有考虑,因此上述结果需要验证。,这一条件，,平行可加高斯噪声信道容量,因而,若计
7、算出 的有负值，必须置 来代替算得的负值。这就为边界极值问题，表明当某一信道的噪声功率 大于常数K时，该信道无法利用。为了保持总功率不超过S，另一些信道的输入功率还必须相应调整。设有q个 ，即 小于0，则功率重新分配为,若此时仍有,，再次进行调整，直至剩余的所有,假如经过多次调整，有m个,，即,小于0，则功率重新分配为,从而求得,令,则上式可写成,于是，定理得证。,【注】这个定理说明，当并行组合信道各分信道的干扰功率不等时，为达到最大传信能力，要求对输入信号总能量适当的进行分配。分配按条件进行，当 时，不分配能量，既不传任何信息；当 时，使信号功率和信道噪声功率之和为常数，这样才能保证总的容量
8、最大。,平行可加高斯噪声信道容量,平行可加高斯噪声信道容量,【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？,S=5,求得分别为0.95,0.85,0.75,0.65,0.05,(2) S=1,求得分别为0.4,0.3,0.2,0.1,0,0,0,0,0,0,【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？,例：双输出高斯信道考虑在X上带有两个相关观察的可加高斯噪声信道，即输出Y=(Y1,Y2)，其中 Y1=X+Z1 Y2=X+Z2并对X的功率限定为P，以及(Z1,Z2)N2(0,K),其中求该信道的容量。,解：信道容量,加性高斯信道,当X是正态分布R.V.时，Y1和Y2也是正态分布R.V.，可使Hc（Y1Y2)达到最大值。可以证明，此时,其中，,信道容量为,讨论：1. =0,2. =1,3. =-1,分集接收、扩频,本节小结,（本节内容见课本125-131页）,时间离散的无记忆连续信道, 功率受限的可加高斯噪声信道, 功率受限的可加噪声信道, 平行可加高斯噪声信道,作业：4.14,
