2.7信息的度量,2.7.1概率信息的描述2.7.2不确定性与自信息量2.7.3信息熵2.7.4哈特莱信息度量方法2.7.5香农定理2.7.6信息熵的性质,2.7信息的度量,信息的度量就是从数量关系上把握信息。日常生活的经验告诉我们,信息是可以度量的。比如人们在得到不同的信息时,往往会做出不同的反应和评价,“这个信息对我很重要,有很大帮助”,或“这个信息没什么用,我早就知道了”,这就说明不同的信息带有不同的信息量。对信息的定量把握,是进一步探讨信息的科学规律的基础,也是信息处理和利用的基础。,幽默案例,韦小宝赌博:为什么韦小宝投骰子赌钱十赌九赢?,概率空间:设X表示一个离散随机事件,X=xii=1,n为随机事件中所有可能状态的集合,P=pii=1,n表示每个状态出现的概率的集合,则(X,P)=(xi,pi)i=1,n为随机事件的概率空间。概率空间(X,P)的各元(xi,pi)正好描述了事物的运动状态和方式:状态xi出现的概率为pi。,2.7.1概率信息的描述,随机事件的概率空间为:,随机事件的概率空间,其中:,随机事件的概率空间,假定随机事件X有n种可能