第2章 离散信源及其信息测度 2.1 信源的数学模型及分类2.2 离散信源的信息熵2.3 信息熵的基本性质2.5 离散无记忆的扩展信源2.6 离散平稳信源2.7 马尔可夫信源2.8 信源剩余度与自然语言的熵资金是运动的价值，资金的价值是随时间变化而变化的，是时间的函数，随时间的推移而增值，其增值的这部分资金就是原有资金的时间价值信源 产生消息或消息序列的源。消息携带信息，是信息的具体形式。描述方法 通信过程中，信源发出何种消息是不确定的、是随机的。 因此，信源可用随机变量、随机矢量或随机过程（或样本空间及其概率测度）来描述。 不同的信源根据其输出消息的不同的随机性质进行分类。2.1 信源的数学模型及分类资金是运动的价值，资金的价值是随时间变化而变化的，是时间的函数，随时间的推移而增值，其增值的这部分资金就是原有资金的时间价值1、随机变量描述的信源（单符号）l 特点：输出单符号消息。符号集的取值A:a1,a2,aq是有限的或可数的,可用离散型随机变量X描述。l 数学模型：设每个信源符号ai出现的(先验)概率p(ai) (i=1,2,q) 满足：概率空间能表征离散信源的统计特性，因此也称概
