信息论初步Introduction to Information Theory陈 翀统计机器学习与数据挖掘技术与方法研讨班讲义提要n最优编码n自信息n熵n联合熵、条件熵n互信息n交叉熵nKL-divergence信息论nShannon 与20世纪40年代提出在非理想的通信信道内如何传输最大量的信息，包括n数据压缩(与熵相关)n传输率(信道容量)信息量的度量n在TIM领域，信息论被用来解决海量存储（文本压缩编码）推测不确定性-熵解释随机变量及其分布的关系-互信息、KL距离。噪声信道信源接收方XX信息的度量n信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到 1948 年，香农提出了“信息熵”的概念，才解决了对信息的量化问题。n一条信息的信息量大小和它的不确定性有直接的关系。比如说，要搞清楚一件非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。从这个角度可认为，信息量的度量就等于不确定性的多少。n例子：冠军队预测信息论基本
