1、大数据处理与云计算教学大纲课程类别：专业教育课 课程名称：大数据处理与云计算开课单位：信息与通信工程学院 课程编号：N03050703总 学 时：40 学 分：2.5适用专业：信息工程专业先修课程：无一、课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术，根据实际需求，构建相应的大数据处理和云计算平台框架。通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解 Hadoop分布式系统基础架构，掌握 HDFS 和 MapReduce 技术。了解HBase、Hive、Zookeeper、Avro
2、、Pig 等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。教学应当结合实际实验条件，培养学生实践动手能力，了解大数据技术发展现状，促进大数据相关教学改革。二、课程教学内容、要求及学时分配第一章 大数据与云计算概况1、了解大数据概念2、了解大数据的产生、应用和作用3、了解云计算技术的概述4、了解云计算的特点及技术分类5、了解大数据与云计算、物联网之间的关系第二章 大数据处理与云计算的关键技术1、理解大数据处理的基本流程2、掌握大数据的关键技术3、理解大数据的处理工具4、了解大数据面临的挑战5、理解云计算及关系型数据库第三章 Hadoop1、了解Hadoop概述2、了解 Hadoop
3、发展简史3、理解Hadoop的功能与作用4、了解 Hadoop的优缺点5、了解Hadoop的应用现状和发展趋势6、掌握Hadoop项目及其结构7、掌握Hadoop的体系结构8、掌握HDFS的体系结构第四章 MaReduce1、理解分布式并行编程2、理解MapReduce模型概述3、掌握Map和Reduce函数4、掌握MapReduce工作流程5、掌握并行计算的实现6、掌握新的 MapReduce 框架：Yarn7、理解新旧 Hadoop MapReduce 框架的对比第五章 HDFS1、理解HDFS的假设与目标2、理解HDFS的相关概念3、掌握HDFS体系结构4、掌握HDFS命名空间5、掌握H
4、DFS存储原理6、掌握通讯协议7、理解数据错误和异常8、理解从 HDFS 看分布式文件系统的设计需求第六章 Zookeeper1、了解Zookeeper简介2、掌握Zookeeper的工作原理3、理解Zookeeper的数据模型第七章 HBase海量实时处理实战技巧1、理解HBase简介和架构2、掌握HBase核心知识点3、掌握HBase高级应用4、理解HBase应用场景5、理解HBase常用接口和SQL引擎层实战6、理解基于Hadoop V1和V2使用HBase的异同第八章 基于Hadoop V2的Hive/Pig开发技巧1、理解Hive和Pig架构和理论基础2、理解Hive的作用和原理说明
5、3、掌握Hadoop仓库和传统数据仓库的协作关系4、理解Hadoop/Hive仓库数据数据流5、理解基于Hadoop V1和V2使用Hive和Pig等工具的异同6、HQL基本语法第九章 实时流框架Storm on YARN（Hadoop V2）实战技巧 1、理解实时流计算的概念2、理解Storm的概念、核心组件、特性3、理解Storm核心概念和数据流模型4、了解运行基于Storm的编程实例第十章 内存计算框架Spark on YARN（Hadoop V2）实战技巧 1、理解Spark核心架构2、掌握在YARN上安装Spark3、理解Spark集群配置介绍4、理解Spark多语言编程第11章 云
6、数据库1、了解云数据库概述2、了解云数据库的特性及其需求3、理解云数据库与传统的分布式数据库4、了解云数据库产品5、理解数据模型6、理解数据访问方法及编程模型三、实验四学时分配章节名称 讲授（学时） 实验（学时） 小计第一章 大数据与云计算概况 2 0 2第二章 大数据处理与云计算的关键技术 4 0 4第三章 Hadoop 3 0 3第四章 MaReduce 4 2 6第五章 HDFS 4 2 6第六章 Zookeeper 2 0 2第七章 HBase 海量实时处理实战技巧 3 2 5第八章 基于 Hadoop V2 的 Hive/Pig 开发技巧 22 4第九章 实时流框架 Storm on YARN（Hadoop V2）实战技巧 30 3第十章 内存计算框架 Spark on YARN（Hadoop V2）实战技巧 30 3第 11 章 云数据库 2 0 2合计 32 8 40
