1、第一章现代信息科学与药学信息技术了解现代信息科学与药物信息技术的发展历程， 理解 基本概念，深刻理解 现代信息科学与药物信息技术的未来发展方向第一节现代信息科学概述l 狭义信息论的 产生过程和标志1928年， 哈特利 发表了 信息传输 ，第一次把信息和消息区别开来，并 首次提出信息量 的概念，同时指出 可以用 消息出现的 概率的对数来 度量信息量 。香农信息论1948年 香农 通信的数学理论 和 1949年 噪声中的通信 集中了香农的研究成果，系统的论述了信息理论，奠定了现代信息论的基础。维纳信息论1948年 维纳 控制论动物和机器中的通信与控制问题 从控制和通信的角度研究了信息问题，以自动控
2、制的观点解决了信号被噪声干扰时的处理问题，建立了 “ 维纳滤波理论 ” ，从而扩大了信息论的研究范围。Claude Elwood Shannon (1916-2001)l 这几篇论文的相继发表，标志着信息论的正式诞生l 仅限于通信领域 狭义信息论，通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。二狭义信息的概念通信系统模型香农认为通信应该是信息在系统中识别、传输、变换、存储、处理、显示的过程。因此通信系统必须是一个发送与接收，输入与输出两者相互联系的不可分割的统一体。编码器 信道 译码器 信宿噪声源信源 信息 信号 干扰 信号 +干扰 信息自然现象的
3、分类必然事件：在一定条件下必然发生的现象不可能事件：在一定条件下不会发生的现象随机事件：在一定条件下可能发生，也可能不发生的现象l 概率信息是表示关于事物的随机运动状态和方式的信息，它与事物的运动方式有关，不同的方式有不同信息表示 。香农信息定义： 信息是用来消除不确定性的东西维纳信息定义： 信息就是人和外界相互作用的过程中相互交换的内容总称。（三）狭义信息度量概率空间由随机试验中的基本事件及其发生的相应的概率组成，即：其中 Xi表示事物运动的 n种可能状态； Pi则是相应的运动状态发生的概率，且 P1 P2 Pn 1实例：掷骰子有六个基本事件，即出现一点、二点、三点、四点、五点、六点的状态，
4、分别记做 X1、 X2、 X3、 X4、 X5、 X6 ，其相应的概率分别为 P1、 P2、 P3、 P4、 P5、 P6、，且 P1 P2 P3 P4 P5 P6 1，则掷骰子的概率空间为先验信息概率空间香农理论（经典信息学）数学基础n 熵（ Entropy ）经典信息学的数学基础 .n 熵的数学定义：n 以熵为尺度度量信息量的大小。X1 ， X2， 。， XnP(X1)， P(X2)，。， P(Xn)消息的概率空间： 狭义信息论的局限性只考虑了信息的 形式 方面，不考虑其 含义与价值 方面，而语义和语用是不能回避的（与主观有关）局限于 “ 消除不确定性 ” 范畴，不能解决模糊问题只考虑了 统计信息 ，没有考虑其他的原理和规律
