1、信息论基础,刘昌红,第一章 绪论,1、信息的概念 2、信息论研究的对象、目的和内容 3、信息论发展简史与信息科学,信息的概念,1、信息论的定义：信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。 2、信息论的奠基人：是美国科学家香农 (C.E.Shannon)，他在1948年发表了著名的论文通信的数学理论，为信息论奠定了理论基础。 3、香农信息的定义：信息是事物运动状态或存在方式的不确定性的描述,这就是香农信息的定义。 4、信息、情报、知识、消息及信号间的区别与联系。,信息论研究的对象、目的和内容,信源,编码器,信道,译码器,信宿,噪声源
2、,消息,信号,信号+干扰,消息,通信系统模型图,信息论研究的对象、目的和内容,信息论研究的对象:正是这种统一的通信系统模型,人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律. 这个模型主要分成下列五个部分: 1、信息源（简称信源） 顾名思义，信源是产生消息和消息序列的源。它可以是人，生物，机器或其他事物。它是事物各种运动状态或存在状态的集合。 如前所述，“母亲的身体状况”，“各种气象状态”等客观存在是信源。人的大脑思维活动也是一种信源。信源的输出是消息，消息是具体的，但它不是信息本身。消息携带着信息，消息是信息的表达者。,信息论研究的对象、目的和内容,2、编码器 编码是把消息变换成
3、信号的措施，而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。 编码器可分为二种：信源编码器和信道编码器。 信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。 信道编码是为了提高信息传输的可靠性而对消息进行的变换和处理。当然，对于各种实际的通信系统，编码器还应包括换能、调制、发射等等各种变换处理。,信息论研究的对象、目的和内容,3、信道 信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介。在狭义的通信系统中实际信道有明线、电缆、波导、光纤、无线电波传播空间等，这些都是属于传输电磁波能量的信道。当然，对广义的通信系统来说，
4、信道还可以是其他的传输媒介。信道除了传送信号以外，还有存储信号的作用。,信息论研究的对象、目的和内容,4、译码器 译码就是把信道输出的编码信号(已迭加了干扰)进行反变换,一般认为这种变换是可逆的。 译码器也可分成信源译码器和信道译码器。,信息论研究的对象、目的和内容,5、信宿 信宿是消息传送的对象，即接收消息的人或机器。图1.3给出的模型只适用于收发两端单向通信的情况。它只有一个信源和一个信宿，信息传输也是单向的。 更一般的情况是：信源和信宿各有若干个，即信道有多个输入和多个辅出，另外信息传输方向也可以双向进行。 例如广播通信是一个输入，多个输出的单向传输的通信；而卫星通信网则是多个输入，多个
5、输出和多向传输的通信。要研究这些通信系统，我们只需对两端单向通信系统模型作些适当修正，就可引出网络通信系统模型,信息论研究的目的,研究这样一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律高信息传输的可靠性、有效性、保密性、认证性，使达到信息传输系统最优化。 可靠性：就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 有效性：就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。,信息论研究的目的,保密性：就是隐蔽和保护通信系统中传送的消息，使它只能被受权接收者获取，而不能被未受权者接收和理解。认证性：是指接收者能正确判断所接收的消息的
6、正确性，验证消息的完整性，而不是伪造的和被窜改的。有效性、可靠性、保密性和认证性四者才构成现代通信系统对信息传输的全面要求。,信息论研究的内容,信息论研究的内容一般有以下三种理解： 1、狭义信息论：也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 2、一般信息论：主要也是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。 后一部分内容是以美国科学家维纳(N.Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫(A.KOnMO
7、ropoB)。,信息论研究的内容,3、广义信息论：它不仅包括上述二方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。它也就是新兴的信息科学理论。 由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书仅论述信息论的基础理论即香农信息理论。,信息论发展简史与现状,目前，在香农信息论方面，值得注意的研究动向是信息概念的深化；网络信息理论和多重相关信源编码理论的发展和应用； 通信网的一般信息理论研究；磁记录信道的研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用；以及信息论在大规
8、模集成电路中的应用等问题。 这些领域都是与当前信息工程的前景光通信、空间通信、计算机网、语音和图像的信息处理等密切相关的。,信息论发展简史与现状,现在，信息理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。在信息论与自动控制、系统工程、人工智能、仿生学、电子计算机等学科互相渗透，互相结合的基础上，形成了一门综合性的新兴学科信息科学。,信息论发展简史与现状,信息科学，是以信息作为主要研究对象，以信息的运动规律和利用信息的原理作为主要的研究内容，以信息科学方法论作为主要的研究方法，以扩大人的信息功能(特别是智力功能)为主要的研究目标的一门新兴科学。 它的基本理论是信息论、控制论和系统论。显然，它的研究范围要更为广阔，涉及的内容也更复杂，更深刻。,
