一、熵概念的发展简史1. 熵最初产生于18世纪初，Carnot研究热机效率发现可逆循环过程，随后Clausius根据可逆Carnot循环过程定义了态函数熵。Clausius明确了熵态函数，但没有给出更深刻的物理含义。2. 直到19世纪中期，1887年波尔兹曼著名公式：w是热力学体系宏观态的微观状态数。当初称热力学几率，其实这个词并不确切。因为：通常几率在0，1区间，而热力学体系宏观状态的微观状态数w总是大于1，而且数量级非常之高。3. 1928年，Hartrey可能受波尔兹曼关系的启发，首次在通信领域里提出信息熵的定义：N是等概率消息单元的总数，信息熵H的意义是输送一个消息单元的不肯定性程度的量度。等概消息单元总数N愈多，信息熵H愈大，输送一个消息单元的不肯定性程度就愈大；反之，N愈少。当消息单元的总数N=1时，H=0，输送这个消息的不肯定性程度为零，就是完全肯定输送这个消息。信息熵意义：在解决通信领域里的实际问题比较方便，只要知道等概率消息单元总数N就可以计算信息熵H。不足：对简单的信息源应用起来方便，对复杂的信息源把握等概率消息单元总数N却不是容易做到的；用这个信息熵定义计算得到的
