2022/10/19 1 问题：1. 如何描述离散无记忆序列信源的序列熵？2. 如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？ 第四节 离散序列信源的熵2022/10/19 22.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为X，X（X1 X2XlXL），序列中的变量 即序列长为L。2022/10/19 3设：随机序列的概率为 ：p(X=xi)=p(X1=xi1,X2=xi2,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)p(xiL/xi1xi2xiL-1)=p(xi1)p(xi2/xi1)p(xi3/xi12)p(xiL/xi1L-1) 式中 xi1L-1=xi1xi2xiL-1 2022/10/19 4 分析：（1）当信源无记忆（序列中的符号之间无相关性）时，p(xi)=p(xi1xi2xiL)= 2022/10/19 5 其中（2）若信源的序列满足平稳特性（与序号l无关）时，有p(xi1)=p(xi2)=p(xiL)=p，p(xi)pL，则信源的序列熵又可表示为H(X)=LH(x). 平均每个符号熵为 HL(X)=H(X
