1、信息科学基础课程教学大纲课程名称：信息科学基础/ Basic Information Science学时/学分：60 学时/4 学分（其中课内教学 60学时，实验上机 0学时）先修课程：概率论与数理统计适用专业：信息与计算科学开课院（系、部、室）：数学与计算机科学学院一、课程的性质与任务本课程是信息与计算科学专业的必修专业基础课之一。其任务是使学生掌握现代信息论中的基本知识，并运用这些基本知识解决实际问题；能够掌握信源与信道编码技术。二、课程内容、基本要求与学时分配（一）概论 2 学时给出信息论的产生、发展、现状、应用及相关背景知识并对所涉及的概率知识进行复习，给出教学安排，列举出参考书目，使
2、得学生能从总体上了解与把握本课程的相关背景知识及知识间的逻辑联系。（二）无失真信源与信息熵 14 学时1、掌握信息熵和信息量的概念、计算方法及相互关系，了解熵函数的基本性质和公理化结构。2、掌握离散无记忆信源的序列熵与消息熵概念的定义、计算方法，知道有记忆信源的序列熵与消息熵；3、掌握互信息的定义、计算方法及相关性质；4、了解无记忆信源的剩余度的定义，知道连续信源的熵和互信息。重点：自信息量、信息熵、信息量与互信息的定义和计算方法。难点：离散无记忆信源的序列熵与消息熵的概念。（三）限失真信源与信息率失真函数 4 学时1、掌握等概率对称性失真信源 R（D）函数的计算方法；2、知道连续信源的信息率
3、失真函数。重点：信息率失真函数的计算方法。（四）信道与信道容量 12 学时1、掌握信道的数学模型与分类；2、了解无干扰离散信道的信道容量特别是 Morse 电报的信道容量计算方法；3、掌握离散单消息信道的信道容量的定义与计算方法；4、知道连续信道及其信道容量的定义；5、了解信道容量代价函数及信道剩余度的定义。重点：信道的数学模型与分类，信道的信道容量的定义与计算方法。难点：Morse 电报的信道容量和离散单消息信道的信道容量的计算方法。（五）信源编码 14 学时1、掌握信源的数学模型、信源的分类、信息与信号知识等概念的区别；2、了解 Shannon 定长信源编码定理与变长编码定理；3、掌握唯一
4、可译码、即时码的定义，掌握即时码的树图构造法；4、掌握平均码长、最优码的定义；5、掌握 Huffman 编码，了解 Shannon 编码、Fano 码、ShannonFanoElias 码、算术码，了解 MH 编码与 LZ 系列压缩算法；6、了解信源熵压缩编码；7、了解图象编码。重点：最优码、Huffman 码、 Shannon 码、Fano 码、算术码。难点：定长信源编码定理与变长编码定理。（六）信道编码 14 学时1、掌握信道编码的各种类别，掌握码率概念；2、掌握译码差错概率的定义与计算，掌握各种常见的信道译码准则：最小错误概率译码准则（LEP） 、最大似然译码准则（ ML）与最小距离译码
5、准则（LD） ，并能够分析各个准则下的译码错误概率公式；3、掌握 Hamming 距离概念、线性分组码概念；掌握查错码、纠错码的相关码距性质；4、掌握(n ， k)线性码的编制与译码；5、掌握循环码的定义、编制与译码；6、了解 BCH 码、Reed Solomon 码、Turbo 码、TCM 码、交织码、级连码等；7、了解卷积码的编码与译码。重点：(n ， k)线性码的编制与译码。难点：常见的信道译码准则，循环码的编制与译码。三、推荐教材和主要参考数目1、使用教材：（1）吴伟陵，信息处理与编码，人民邮电出版社，2003。2、主要参考书目：（1）傅祖芸，信息论基础理论与应用，电子工业出版社，2001。（2）沈世镒，陈鲁生，信息论与编码理论，科学出版社，2002。（3）MacKay, D.J.C., Information Theory，Inference，and Learning Algorithms，2003。（4）Gibson，J.D.，多媒体数字压缩原理与标准，电子工业出版社，2001。（5）王新梅，肖国镇，纠错码原理与方法，西安电子科技大学出版社， 2001。（6）吴乐南，数据压缩，电子工业出版社，2000。（7）朱雪龙，应用信息论基础，清华大学出版社，2001。大纲制订者：张春涛大纲审定者：王绍恒
