信息论与编码[第四章波形信源和波形信道]山东大学期末考试知识点复习(共9页).docx

精选优质文档-倾情为你奉上第四章 波形信源和波形信道411连续信源的差熵差熵(有称为相对熵或称微分熵)已不具有信息熵的物理含义。但在任何包含有两个信息熵的“熵差”问题中，它能替代信息熵H(X)而具有信息的特征。其单位是：对数以2为底，是比特自由度；以e为底，是奈特自由度；以10为底，是哈特自由度。412 多维连续平稳信源的信息熵则各连续型随机变量彼此统计独立，称为连续平稳无记忆信源。否则，为平稳有记忆信源。 N维连续平稳信源可用下列一些差熵进行信息测度： 1联合差熵 (1)二维联合差熵2条件差熵(1)二维连续随机序列X=X1X2的条件差熵 3各种差熵之间的关系413 波形信源的差熵414 差熵的性质 与离散信源的信息熵比较，连续信源的差熵具有以下一些性质： 1可加性 任意两个相互关联的连续信源X和Y，有3差熵可为负值不存在非负性。4极值性