网络结构之网络结构之熵熵2011年年8月月目录网络结构之熵网络结构之熵干扰矩阵原理干扰矩阵原理叩开结构优化之门叩开结构优化之门贯通自动改频之路贯通自动改频之路熵与信息熵熵由RudolfClausius提出，后来香农Shannon第一次将熵的概念引入到信息论中来。在信息论中，熵表示的是不确定性的量度，他把信息定义为“用来消除不确定性的东西”。熵定律是科学定律之最！事件信息量：信息熵：熵的特点最大信息熵原理按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布。在给定的约束条件下，由最大信息熵原理求“最佳”概率分布，就是求解条件极值问题。在某些场合，常用拉格朗日乘子法来确定此分布。熵最大就是事物状态的丰富程度自动达到最大值。换句话说，事物总是在约束下争取（或呈现）最大的自由权，我们把这看作是自然界的根本原则。熵增原理熵的特点一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。热物理学证明，在一个封闭的系统中，熵总是增大，直至最大。若使系统的熵减
