信息论与编码 总结与复习 2014信息学院 信息工程教研室牛秋娜本课程主要内容一个理论和三个编码: 理论-香农信息论 编码-信源编码 信道编码 保密编码 各编码作用是？ 第一部分、信息论基础1.1 信源的信息理论: 1、信息的定义： （1）自信息 I = log(1/p) =-log p （2）通信完成后获得的净信息量 =通信所消除掉的不确定度（3）信息的单位：对数的底取2时，自信息的单位叫比特(bit)。第一部分、信息论基础 1.1 信源的信息理论2、信息熵的定义： （1）离散信源（2）连续信源第一部分、信息论基础 1.1 信源的信息理论3、信息熵的特点（1）非负性：H(X) 0（2）极值性： 1离散信源各符号等概率时出现极大值： H0=log m 2连续信源信号幅度受限时均匀分布出现 极大值： hmax(X)=log (b-a)； 3连续信源信号方差有限时高斯分布出现 极大值：第一部分、信息论基础 1.1 信源的信息理论4、离散序列的信息熵（1）无记忆信源的联合熵与单符号熵： H(X1X2XN) = H(X1)+H(X2)+H(X3)+H (XN) = NH(X1) （2）有记忆信
