1、第一章第一章 信息、信息科学与信息技术信息、信息科学与信息技术沈晴霓北京大学软件与微电子学院纲纲 要要u1.1 信息u1.2 信息科学u1.3 信息技术u1.4 信息科学 /技术与相关学科的关系1.1 信息u什么是信息 ?就一般意义而言,信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等等。20世纪 30年代,信息被作为一个科学概念探讨u1928年,哈特莱 ( Ralph V.L. Hartley) 在 “信息传输 ”文中首先提出 “信息 ”这一概念,即 “信息是代码、符号,而不是信息内容本身 ”,与消息区分开来。u1948年,信息论创始人香农 ( C. E. Shannon)从研
2、究通信理论出发,第一次从数学方法角度进行了定义,即 “信息就是不确定性的消除信息就是不确定性的消除 ”。香农对信息的定义u什么是信息?信息能否度量?怎样度量什么是信息?信息能否度量?怎样度量?u香农认为:信息是有秩序的量度,是人们对事物了解的不确定性的消除或减少。u信息是对组织程度的一种测度,信息能使物质系统有序性增强,减少破坏、混乱和噪音。如:人的交往、道路交通、公安保密等信息的传播过程u香农提出:信息的传播过程是 “信源 ”(信息的发送者)把要提供的信息经过 “信道 ”传递给 “信宿 ”(信息的接收者),信宿接收这些经过 “译码 ”(即解释符号)的信息符号的过程。信源 编码 信道 译码 信
3、宿信息的度量u由于信息源发出的消息是随机的,可以用随机变量来表示。如果用符号 表示信息源发出的信息,假设事件的基本空间 包含 m个元素,即 = x1, x2, , xm,且每一个等可能值的概率为:P( X=xi ) = p i =1, 2, , m u那么 ,定义一个随机事件所含的信息量称为 x的自信息量,即u 只能表示信息源发出的某一特定消息 x的自信息量,而对于不同的消息则有不同的自信息量,所以 不足以作为整个信息源的总体信息测度 。 那么 , 可以定义平均信息量来作为信息总体的测度,即信息熵。信息熵u设 X为一离散随机变量,在集合中取值,其概率分布为u信息熵是从整个信息源的统计特性来考虑的,它 从平均的意义上来表示信息源的总体信息测从平均的意义上来表示信息源的总体信息测度度 ,它表示信息源 X 在没有发出消息以前,信宿对信息源 X 存在着平均不确定性。香农的信息度量公式 排除了对信息主观上的含意。排除了对信息主观上的含意。根据上述公式,同样一个消息对任何一个收信者来说,所得到的信息量都是一样的。