信息论与编码计算器2简 介 是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论” 3简 介l 信息论的基本问题信息的度量l 无失真信源编码定理香农第一定理l 信道编码定理香农第二定理l 信源编码、信道编码绪 论第1章51.1 信息的概念 6情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。几个常见概念7香农信息的度量（1）样本空间 某事物各种可能出现的不同状态。（2）概率测度 对每一个可能选择的消息指定一个概率。（3）概率空间 l 先验概率p(xi)：选择符号 xi作为消息的概率。样本空间概率测度8l 例：气象预报 甲乙l “甲地晴”比“乙地晴”的不确定性小。l 某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会
