1、- 1 -大数据技术与应用专业建设方案北京四合天地科技有限公司2018年 6月- 2 -目录1 项目背景 .41.1 行业背景 .41.2 政策导向 .52 人才培养方案 .62.1 行业人才需求 .62.2 大数据岗位设置 .92.2.1 Hadoop 运维工程师 .92.2.2 大数据开发工程师 .92.2.3 数据采集工程师 .102.2.4 系统开发工程师 .112.3 大数据人才基本技能要求 .112.4 人才培养目标 .122.5 人才培养策略 .123 教学现状分析 .133.1 教学科研难以保证 .133.2 实训环境缺失 .133.3 实训内容不足 .134 课程体系建设 .
2、144.1 培养目标 .144.2 课程设置 .145 实训室建设 .155.1 设计理念 .155.1.1 以就业为导向 .155.1.2 以能力为本 .15- 3 -5.1.3 坚持创新 .155.1.4 产学研一体化 .155.1.5 拓展专业广度和深度 .155.2 整体架构 .165.3 硬件环境 .165.3.1 大数据实训服务器 .165.3.2 学生终端 .175.4 软件环境 .175.4.1 四合天地云计算平台 .175.4.2 四合天地大数据教学实训管理平台 .205.4.3 四合天地数据采集与预处理实训系统 .205.4.4 四合天地大数据离线分析实训系统 .215.4
3、.5 四合天地数据可视化实训系统 .215.5 实训资源体系 .215.5.1 大数据离线分析环境部署教学实训包 .225.5.2 数据采集与预处理教学实训包 .225.5.3 大数据离线存储与分析教学实训包 .225.5.4 数据可视化教学实训包 .236 方案优势 .236.1 WEB 形式开展实训，实现无所不在的网络访问 .236.2 基于资源的负载均衡，实现实训资源弹性分配 .246.3 增量存储技术，实现用户实训环境的独立性和延续性 .246.4 项目驱动式实训设计，培养学生的综合云能力 .246.5 资源的开放性及复用性，可支持科研等其他用途 .246.6 完善的课程体系，丰富的教
4、学内容 .257 项目建设成效 .257.1 完全契合工程实践，明确专业定位 .257.2 采用“任务驱动” 教学方式，引领教学方式创新 .257.3 聚焦工程技术人才培养，协助专业改革创新 .26- 4 -1 项目背景1.1行业背景大数据（big data）是指无法在可承受的实践范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托.迈尔.舍恩伯格及肯尼斯. 库克编写的大数据时代中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。麦肯锡提出的大数据 4V特点包括：V
5、olume （大量）、Velocity （高速）、Variety （多样）、 Value（低价值密度）。由 IDC和 EMC联合发布的The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things研究报告中指出，2011 年全球数据总量已达到 1.8ZB，并将以每两年翻一番的速度增长，到 2020年，全球数据量将达到 40ZB，均摊到每个人身上达到 5200GB以上。在“2017 年世界电信和信息化社会日大会”上，工信部总工程师张峰指出，我国的数据总量正在以年均 5
6、0%的速度持续增长，预计到 2020年，我国数据总量在全球占比将达到 21%。美国市场研究公司 IDC发布的报告称，全球大数据技术和服务市场将在未来几年保持 31.7%的年复合增长率，2016 年总规模达到 238亿美元。根据中国信息通信院（原工信部电信研究院）发布的中国大数据发展调查报告（2017 ）指出， 2016年中国大数据市场规模为 168亿元，增速达 45%，预计2017 2020年增速保持在 30%以上，预计到 2020年中国大数据市场规模将达到 578亿- 5 -元。图 1-2： 中国大数据市场对于规模及增速自 2008年以来，我国出台多项规定，促进数据开放共享，引领大数据产业的
7、健康发展。从行业来看，互联网行业是大数据应用的领跑者，其次，大数据应用水平较高的主要是电信、金融等行业，而医疗、零售、交通、物流等传统行业也逐渐开始进行大数据方面的探索，并且已出现了部分相对成熟的应用类型。虽然各行业的数字化进程并不均衡，部分传统行业的大数据技术与应用渗透率还较低，但增长空间巨大。1.2政策导向自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了促进大数据发展行动纲要、大数据产业发展规划（20162020 年）等指导性文件。据不完全统计，我国已有 20多个省级地方和 10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道
8、。2015年 9月 5日经李克强总理签批，国务院日前印发促进大数据发展行动纲要（以下简称纲要），系统指导我国大数据发展的国家。顶层设计和总体部署大数据发展工作。纲要提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。同时，纲要中明确指出，要加强专业人才培养，创新人才培养模式，建立健全多层次、多类型的大数据人才培养体系。鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养，鼓励高等院校、职业院校和企业合作，加强职业技能人才实践培养，积极培育大数据技术和应用创新型人才。依托社会化教育资源，开展大数据知识普及和教育培训，提高社
9、会整体认知和应用水平。- 6 -2015年 10月，国务院中华人民共和国国民经济和社会发展第十三个五年规划纲要（简称“十三五”规划（2016 2020 ）中提出：“实施国家大数据战略，推进数据资源开放共享。” 、“未来五年信息化建设将重点实施网络强国战略，实施国家大数据战略。”将我国大数据上升到国家战略层面。2015年是大数据政策顶层设计年，2016 年是大数据政策细化落地年。国家发改委、环保部、工信部、国家林业局、农业部等均推出大数据发展意见和方案。大数据政策从全面、总体规划逐渐向各大行业、各细分领域延伸，大数据发展也逐步从理论研究步入实际应用之路。文件名称 发文单位 发文日期大数据产业发展
10、规划（2016 2020 ） 工信部 2016.12.30农业农村大数据试点方案 农业部 2016.10.14关于推进全国发展改革系统大数据工作的指导意见 国家发改委 2016.09.09关于推进交通运输行业数据资源开发共享的实施意见 交通部 2016.09.02关于加快中国林业大数据发展的指导意见 林业局 2016.07.13促进国土资源大数据应用发展实施意见 国土资源部 2016.07.04关于促进和规范健康医疗大数据应用发展的指导意见 国务院办公厅 2016.06.24促进大数据发展三年工作方案（20162018 ） 国家发改委等部委 2016.04.13生态环境大数据建设总体方案 环保
11、部 2016.03.08国家林业局落实促进大数据发展行动纲要的三年工作方案 林业局 2016.02.24表 1-1 2016年中央及部委大数据领域最受关注的十大政策2016年，各省市相继出台相关政策举措，强调研发及公共领域的大数据应用，促进相关政策法规的完善；重视通过大数据引领产业转型升级，与企业合作共建地区大数据生态；建立大数据基地，吸纳优秀企业、人才落户扎根。伴随着宏观政策环境的逐步完善，我国大数据产业正在茁壮发展。2 人才培养方案2.1行业人才需求美国人才招聘市场的数据分析领先者 WANTED Analytics和 Forbes对来自 150个国家的 10亿个岗位信息进行了统计，基于“数
12、据分析” 、“数据采集”、“数据挖掘”- 7 -和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去 12个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能的岗位空缺呈现高速增长，其中“大数据”解决方案的销售人员、计算机系统分析师、管理分析师、IT 项目经理和信息安全分析师岗位的增幅都在 100%以上，这一增长趋势也将延续到 2016年。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到 2018年，仅美国就需要 1419 万信
13、息分析专业人才以及 150万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值，还能够大幅度的拉动就业。国外著名职业人士社交网站 LinkIn对全球超过 3.3亿用户的工作经历和技能进行分析并公布了最炙手可热的 25项技能中，统计分析和数据挖掘技能位列榜首。根据中国信息通信院（原工信部电信研究院）发布的中国大数据发展调查报告（2017 ）中指出，超过三分之一的受访企业认为数据人才短缺是企业发展大数据所面临的主要问题之一。图 2-1 制约企业大数据发展的主要因素国家信息中心和南海大数据应用研究院联合发布的2017 中国大数据发展报告显示，数据分析、系统研发等技术类岗位大多供不应求，数据分析类
14、岗位工作机会最丰富，虽然求职人数占比第一，但人才供给仍然相对不足。- 8 -图 1-4 大数据岗位招聘、求职人数统计图我国大数据产品正处于起步阶段，市场对技能型、操作性的人才需求相对较高，从统计数据上看，大数据行业求职者学历与招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。图 1-4 大数据岗位招聘、求职学历要求统计图为了适应大数据产业的快速发展，2016 年 9月，教育部向普通高等学校、高等职业教育（专科）专业目录增补 13个专业，其中就包括大数据技术与应用专业（专业代码610215）。大数据技术与应用是一门多学科融合的交叉学科，高职院校应从应用型、技能
15、型角度建设大数据学科方向的课程体系与学生培养方案。提高学生的学科交叉能力、实践能力和创新创业能力。适应我国经济体制转轨、产业结构调整和高新技术发展的需要，培养出企- 9 -业和社会急需的创新型、实用型、复合型人才。从教学体系建设上，应体现“应用”二字，其核心是实践教学，重点引导学生将科学知识应用于实践工作中，对已有科学知识与技术进行创新并直接应用于社会生产活动，提高自身的创新创业能力。2.2大数据岗位设置根据对大数据行业市场需求的深度调研，结合国内外大数据行业人才需求的实际情况分析，依据学生对于大数据相关软件工具以及数据分析及建模方法的掌握情况，主要以下几个类型的岗位：2.2.1 Hadoop
16、 运维工程师作为大数据产业下的一个新型职位，Hadoop 运维工程师是大数据系统稳定运行最重要的保障，其主要职责是维护高性能的 Hadoop分布式数据存储系统，并为业务系统提供稳定的数据访问服务，开发新接口和维护原有系统。由于 Hadoop技术生态组件绝大部分是由 Java语言实现并且基于 Linux操作系统运行的，对于该职位来说，首要要精通 Java编程和 Linux操作系统；其次要精通Map/Reduce运行机制、Hadoop 集群的硬件资源（CPU、内存、存储）配置与管理、Hadoop各组件（如 HDFS、 Hive、HBase 、Impala 等）的运行原理、集群组件监控、集群节点故障
17、解决方案等；另外还需要懂得如何保证数据安全、数据存储效率、计算效率、运维效率的优化与提高等。如果觉得 Hadoop集群的性能差时，绝大部分责任是运维工程师对 Hadoop的了解太少，Hadoop 的效率没有被发挥出来。- 10 -2.2.2 大数据开发工程师大数据相关的技术组件包括分布式存储（结构化与非结构化）、缓存、查询、计算（实时与离线）、监控与管理、资源调度等，为了保障各技术开发的专业性，一般以开发工作的内容进行划分：Hadoop 开发工程师（离线计算）、实时计算工程师、数据处理工程师、文本挖掘工程师（非结构化数据处理）等。Hadoop开发工程师需要精通包括：HDFS、 HBase、Hi
18、ve、Impala、Zookeeper、YARN 、 Map/Reduce等在内的所有组件部署、调优与开发。Hadoop 技术应用广泛，开发过程中还会涉及 Hadoop版本的快速迭代升级，需要和 Hadoop运维工程师协同开展工作。实时计算所涉及的技术包括 Spark、Storm 两大核心组件，而 Spark与 Storm组件的开发语言都各自不尽相同，这无疑大大增加了实时计算工程师的开发难度，除了精通Java之外，还必须精通 Scala（Spark 是由 Scala写成）、SparkSQL 和SparkStreaming。以上技术都是针对结构化和半结构化数据的开发处理，非结构化数据的开发处理一
19、直都是相对更繁琐的工作。比如，文本挖掘工程师的工作是对非结构化数据进行抽取、解析、建立全文索引等，使非结构化数据转化为有价值的结构化或半结构化数据。数据处理工程师主要负责分布式存储与计算平台中的数据处理与传输，承担着“数据搬运工”的角色，不管是结构化或半结构化数据还是非结构化数据，一般都会使用到 Kafka或 MQ等组件进行数据的解析与传输。2.2.3 数据采集工程师数据采集工程师的主要职责是收集和处理海量原始数据，工作内容包括：脚本编写、网页获取、调用 APIs、编写 SQL查询等。由于数据源的存储及展现方式不同，数据采集分为外部数据采集和内部数据采集，外部数据采集通常指的是互联网网页采集（也称网络爬虫），工作任务是通过搜索引擎网络爬虫相关技术和正则表达式，从抓取下来的 HTML页面数据中提取网页数据信息，这要求工程师必须精通互联网内容搜索产品（例如百度、谷歌）的设计和架构，熟悉搜索引擎、互联网网页及反爬虫技术的工作原理，熟悉 Linux操作系统，具备搜索引擎开发的研究能力，使用到的开源技术工具有：Nutch、 Heritrix、larbin 、HtmlParse、Scrapy 、Lucene 等。
