精选优质文档-倾情为你奉上1. 绪论信息论回答了通信的两个最基本问题:（1） 数据压缩的极限；（2） 信道传输速率的极限；信息、消息和信号消息：信息的載體（能被感知和理解、進行傳遞和獲取）信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(ai)自信息：I(ai)=logP-1(ai)； （信息接收的不確定性）互信息：I(ai;bi)= logP-1(ai)- logP-1(ai|bi);（信息接收的多少度量）（若信道無干擾，則互信息等於自信息等於0）優點：明確的數學模型、定量計算；缺點：有適用範圍；信號；通信系统的模型通信系统的基本要求:有效、可靠、保密、认证2. 离散信源及其信息测度 离散信源的定义：輸出信息數有限、每次只輸出一個； 自信息的定义及物理意义事件發生前：事件發生的不確定性；事件發生后：時間含有的信息量；信息熵的定义及物理意义,信息熵的基本性质定義：自信息的數學期望（ H(X)= - P(ai)logP(ai)
