老师整理的信息论知识点(共12页).doc

精选优质文档-倾情为你奉上Chp02知识点：自信息量： 1） 2）对数采用的底不同，自信息量的单位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意义：事件发生以前，表示事件发生的不确定性的大小；事件发生以后，表示事件所含有或所能提供的信息量。平均自信息量（信息熵）：1） 2）对数采用的底不同，平均自信息量的单位不同。 2-比特/符号、e-奈特/符号、10-哈特/符号。3）物理意义：对信源的整体的不确定性的统计描述。表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息： 1）2）含义：已知事件后所消除的关于事件的不确定性，对信息的传递起到了定量表示。平均互信息：1）定义： 2）性质：联合熵和条件熵：各类熵之间的关系：数据处理定