离散有记忆信源的序列熵(共4页).doc

离散有记忆信源的序列熵对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念，而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：式表明信源的联合熵（即前后两个符号同时发生的不确定度）等于信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条件熵。当前后符号无依存关系时，有下列推论;对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个L长序列，则信源的序列熵为 （2-3-2）记作 平均每个符号的熵为 （2-3-3）当信源退化为无记忆时，有若又满足平稳性，则有这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信