* 信息论导论 通信与信息工程学院 杨海芬 信源熵 o 单符号离散信源联合熵 o 多符号离散信源联合熵；条件熵 o 离散平稳信源、联合熵 o 离散平稳无记忆信源、联合熵 o 马尔科夫信源及其极限熵 o 冗余度与结构信息信源熵 四、马尔科夫信源及其极限熵 o 安德雷马尔可夫(Andrei Markov 18561922），俄国 数学家。 n 1874年马尔可夫入圣彼得堡大学，师从切比雪夫，1886 年当选为圣彼得堡科学院院士。 n 开创了随机过程这个新的领域，以他的名字命名的马尔 可夫链在现代工程、自然科学和社会科学各个领域都有 很广泛的应用。 o 马尔可夫性：一个过程的“将来”仅依赖“现在”而不依 赖“过去” 信源熵 o 马尔可夫链的应用 n 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 o 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 n 生物学应用， o 人口过程，可以帮助模拟生物人口过程的建模。 o 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 n 马尔可夫链最近的应用是在地理统计学（ geostatist
