完整word版-信息论公式总结(共8页).doc

精选优质文档-倾情为你奉上定义离散连续自信息（单位：比特/奈特）自信息Ix=-logp(x)联合自信息Ixy=-logp(xy)条件自信息I(x|y)-logp(x|y)互信息（单位：比特/奈特）互信息Ix;y=logp(x|y)p(x)=logpxypxp(y)y给x提供的信息量Ix;y=logpxypxp(y)条件互信息Ix;yz=logp(x|yz)p(x|z)熵（单位：比特/信源符号）（单位：比特/扩展（N个）符号）（单位：比特/自由度）信息熵H（X）=-xpxlogp(x)离散熵hX=-+pxlogp(x)dx差熵、微分熵h0X=-limx0(logx)pxdx=-limx0(logx)绝对熵hX=-limx0ipxixlogpxi=-pxlogp(x)dx HX=-ipxixlogpxix =-ipxixlogpxi-