信息熵的性质（摘自互动维客：,更多内容请访问互动维客！）一、信息熵 自信息 I(x i ) 是指信源（物理系统）某一事件发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息 I(xi ) 是一个随机变量，它不能用来作为整个系统的信息的量度。 山农定义自信息的数学期望为信息熵，即信源的平均信息量: 信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。例如，两 个信源，其概率空间分别为： 经计算可知， H(Y)H(X), 说明信源 Y 比信源 X 的平均不确定性要大，即在事件发生之前，分析信源 Y ，由于事件 y 1 ,y 2 是等概率的，难以猜测哪一个事件会发生；而信源 X ，虽然也存在不确定性，但大致可以知道, x 1 出现的可能性要大。正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。 也可以这样理解，信息熵 H(X) 表征了变量 X 的随机
