u 最大熵原理来最大熵原理来u 最大熵测量最大熵测量u 熵集中原理熵集中原理 u 最小交叉熵原理最小交叉熵原理u 最大熵原理应用最大熵原理应用 1最大熵原理最大熵原理2 起源于统计力学起源于统计力学1957年年，统统计计物物理理学学家家Jaynes根根据据信信息息熵熵的的概概念念提提出出了了一一个个利利用用部部分分信信息息确确定定随随机机变量集合概率分布变量集合概率分布的方法，称为最大熵原理的方法，称为最大熵原理。最大熵原理最大熵原理34 信信息息论论提提供供了了一一个个基基于于部部分分知知识识建建立立概概率率分分布布的的构构造造性性准准则则，并并导导致致被被称称作作最最大大熵熵估估计计的的一一种种统统计计推推断断方方法法。这是根据给定信息得到的最小可能偏差的估计。这是根据给定信息得到的最小可能偏差的估计。如如果果把把统统计计力力学学看看成成统统计计推推断断的的一一种种形形式式，而而不不是是一一种种物物理理学学理理论论，那那么么就就会会发发现现通通常常的的计计算算原原则则，从从确确定定分分割函数开始，都是最大熵原理的直接结果。割函数开始，都是最大熵原理的直接结果。最大熵原理最大熵原理5
