1、第九章 率失真函数,无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。问题：若信息速率大于信道容量，怎么办？无失真的编码并非总是必要的。引入失真，允许失真大，信息率可以越低。P248例,香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、
2、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。,失真测度,一、失真度从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。,离散无记忆信源U，信源变量Uu1,u2,ur，概率分布为P(u)P(u1),P(u2),P(ur) 。 信源符号通过信道传输到某接收端，接收端的接收变量V v1,v2,vs 。 对应于每一对(
3、u,v)，我们指定一个非负的函数：,称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ui,vj)0表示没有失真。,失真测度,若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有rs个,它可以排列成矩阵形式，即：,它为失真矩阵D，是 rs 阶矩阵。,失真矩阵D,U：原始的未失真信源V：失真以后的信源。从U到V：失真算法，转移概率p(vj/ui)：一种失真算法p(vj/ui) 称为试验信道的转移概率，如图所示。,试验信道的转移概率,例1 离散对称信源(r=s)。信源变量Uu1,u2,ur ，接收变量V v1,v2,vs。定义单个符号失真度：,这种失真称为汉
4、明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即：,对二元对称信源(sr2)，信源U0,1，接收变量V0,1。在汉明失真定义下，失真矩阵为：,例2 删除信源。信源变量Uu1,u2,ur ，接收变量V v1,v2,vs (s = r+1) 。定义其单个符号失真度为：,其中接收符号vs作为一个删除符号。在这种情况下，意味着若把信源符号再现为删除符号vs时，其失真程度要比再现为其他接收符号的失真程度少一半。若二元删除信源s 2，r3， U0,1，V0,1 ,2 。失真度为：,则,d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1d(0,1)=d(1,1)=1/2,例3 对称信源(s
5、= r) 。信源变量Uu1,u2,ur ，接收变量V v1,v2,vs 。失真度定义为：,若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。 当 r3时， U0,1,2，V0,1,2 ，则失真矩阵为：,上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。,失真度d(ui,vj)是随机变量。规定了单个符号失真度d(ui,vj) 后，传输一个符号引起的平均失真，称为信源
6、平均失真度：,在离散情况下，信源Uu1,u2,ur ，其概率分布P(u)P(u1),P(u2),P(ur) ，信宿V v1,v2,vs 。若已知试验信道的传递概率为P(vj/ui)时，则平均失其度为：,平均失真度,若平均失真度D不大于我们所允许的失真D，即： D D 称此为保真度准则。,信源固定(给定P(u)，单个符号失真度固定时(给定d(ui,vj) ，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。有些试验信道满足D D，而有些试验信道DD。凡满足保真度准则，即平均失真度D D的试验信道统称为“D失真许可的试验信道”。把所有D失真许可的试验信道组成一个集合，用符号BD表示
7、，即： BD=P (vj / ui)： D D,保真度准则,信息率失真函数及其性质,一、信息率失真函数的定义,信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-这个下限值与D有关。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U;V)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(U;V)的最小值。,R(D)-信息率失真函数或简称率失真函数。 单位是奈特信源符号 或 比特信源符
8、号,率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。,二、信息率失真函数的性质,允许失真度D的下限可以是零，即不允许任何失真的情况。,1、 R(D)的定义域,R(D)的定义域为 且：,解：,例4 设试验信道输入符号集 ，各符号对应概率分别为)=1/3,1/3,1/3 ，失真矩阵如下所示，求 和 以及相应的试验信道的转移概率矩阵。,令对应最小失真度 的 ，其它为“0”，可得对应 的试验信道转移概率矩阵为,上式中第二项最小，所以令 ， ，可得对应 的试验信道转移概率矩阵为,2、 R(D)是关于平均失真度D的下凸函数,设 为任意两个平均失真， ，则有：,3 、 R(D) 是 区间上的连续和严格单调递减函数。 由信息率失真函数的下凸性可知， R(D)在 上连续。又由R(D)函数的非增性且不为常数知， R(D)是区间 上的严格单调递减函数。,信息率失真函数的一般形状,有失真时逆信源编码定理,率失真函数R(D)是保证失真不超过D时，改变编码方式（p(v|u)），使平均互信息最小当速率R小于R(D)，不可能找到编译码方式对分布为Q(u)的独立同分布信源，失真定义为d(u,v),任意满足平均失真D的(2LR,L)率失真码，必然有RR(D)。,
