大数据技术与应用专业建设.DOC

1、大数据技术与应用专业建设调研报告第 1 页大数据技术与应用专业建设调研报告自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了促进大数据发展行动纲要 、 大数据产业发展规划（20162020 年） 等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有 20 多个省级地方和 10 余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。2015 年 9 月 5 日经李克强总理签批，国务院印发促进大数据发展行动纲要 （以下简称纲要 ） ，系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。 纲要提出从政府大数据、新兴产业大数据

2、、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动” ，跟着产业结构调整升级而“走” ，围着企业技能型人才需求而“转” ，适应市场的需求而“变” 。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。一、调研目的1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人

3、才的市场定位等；大数据技术与应用专业建设调研报告第 2 页2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求；3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价；4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。二、调研方式1. 问卷调查：印制问卷涵寄或面交，请企业相关人员作答。2. 实地调研：教师到企业和用人单位实地调研。3. 座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。4. 网上

4、调查：到网上搜索有关人才需求、课程设计、教学计划等信息。三、国内外大数据发展现状（一）大数据产业呈现爆炸式增长由 IDC 和 EMC 联合发布的The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things研究报告中指出，2011 年全球数据总量已达到 1.8ZB，并将以每两年翻一番的速度增长，到 2020 年，全球数据量将达到 40ZB，均摊到每个人身上达到 5200GB 以上。大数据技术与应用专业建设调研报告第 3 页图 2-1 2014-2020 年中国大数据

5、市场规模及增速在“2017 年世界电信和信息化社会日大会”上，工信部总工程师张峰指出，我国的数据总量正在以年均 50%的速度持续增长，预计到 2020 年，我国数据总量在全球占比将达到 21%。美国市场研究公司 IDC 发布的报告称，全球大数据技术和服务市场将在未来几年保持 31.7%的年复合增长率，2016 年总规模达到238 亿美元。（二）大数据产业应用需求扩张大数据产业应用包括了政府/公共事业、物流零售、文化娱乐、能源/制造、金融/保险、旅游、IT 互联网电信等行业，可以看出大数据已经受到广泛的行业关注。图 2-2 大数据在中国的行业分布大数据技术与应用专业建设调研报告第 4 页参与大数

6、据调查的行业中，来自能源/制造行业的最多，比例达 44.9%，其次是政府与公共事业部，比例为 17%，第三则是金融与保险行业，为 10.3%。接下来，分别是物流零售（8.7%） 、文化娱乐（6.3%） 、IT/互联网/电信（5.8%） 、旅游（3.36%） 。与数据规模的调查数据相对比，我们发现 50TB 以上的数据容量主要分布在能源/制造（47.8%） 、金融/保险（20.5%）与政府/公共事业（15.9%） 。从各个行业对大数据调研的参与程度其实已经可以反映出各行业对大数据的关注程度，能源/制造行业对于市场行情的数据更为敏感，历史的商品行情对于未来的产品设计、风险评估以及市场导向都有较强的

7、参考意义。而随着政府与公共事业的服务意识的强加与转变，以及更智慧的执政与管理理念的带动，对于数据的管理与分析的需求也在日益加强。在金融与保险行业，则是传统的数据量大户，而在新时代更好更快的发现客户金融习惯，将是金融与保险行业未来竞争必须要做的事情。其次，物流零售的数据价值也在日益显现，成为排名第四的参与调查的行业，而新兴的，数据积累（尤其是非结构化数据）历史尚浅的文化娱乐、IT/互联网/电信行业则分列第五和第六。看来大数据已经成为众多行业关注和探讨的话题，其影响力已经覆盖了从传统的制造行业到新型的文化娱乐、IT、互联网行业。（三）人才供不应求美国人才招聘市场的数据分析领先者 WANTED An

8、alytics 和 Forbes 对来自150 个国家的 10 亿个岗位信息进行了统计，基于“数据分析” 、 “数据采集” 、“数据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去 12 个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能的岗位空缺呈现高速增长。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零大数据技术与应用专业建设调研报告第 5 页售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到 2018 年，仅美国就需要 1419 万信息分析专业人才以及 15

9、0 万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值，还能够大幅度的拉动就业。随着各大公司纷纷上马大数据业务，对大数据人才的需要，市场上正处于十分旺盛的阶段。据 Gartner 预测，全球将新增 440 万个与大数据相关的工作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等，然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已步入初级阶段，不论是拓展大数据业务的百度、阿里、奇虎 360 等互联网公司，还是专业提供数据服务的大数据服务商，对专业的大数据人才均有较高的需求量。而今年，这一“人才荒”的情况正在愈演愈烈，从一定程度上说，人才匮乏已经成为制约大数

10、据应用产业发展的重要因素。图 2-3 大数据人才市场需求分析（四）大数据技术与应用专业系统化课程资源匮乏就目前来看，在互联网上已经拥有了较多的单体资源，例如 Java 程序设计、MapReduce 程序设计、Hadoop 体系框架等课程资源非常丰富，但是缺少资源的系统性，很多学习者不知如何去养成职业岗位能力要求。从目前来看，建设一个大数据技术与应用领域的优质资源库，同时为学习者提出科学合理的学习建议，是非常有必要的。大数据技术与应用专业建设调研报告第 6 页四、典型工作岗位及能力分析由于我国大数据产品正处于起步阶段，市场对技能型、操作性的人才需求相对较高，从统计数据上看，大数据行业求职者学历与

11、招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。目前，大数据相关工作按照专业范围和工作特点大致可分为如下1)、数据处理类：该类职位要求对数据存储方式和数据存储结构有一定的理解，了解数据的定义，并且可以通过多种采集方式获取原始数据，按特定要求处理数据。该职位应了解基本的统计学方法，能应用统计学的工具，同时掌握大数据平台的相关操作技术，能将数据处理方法通过大数据平台实现。对于企业来讲，这部分人群在工作中对专业的熟练程度要求也是非常高的，例如能熟练做出因子分析，聚类等基础技术处理，包括类似的各类数据统计处理技术。完成业务中数据的前期预处理和处理基础工作，提供高质

12、量的数据供数据分析和解读。2)、大数据运维类：该类职位要求具备大规模服务器集群的运维能力，同时具备大型数据库运维能力。服务器运维包括维护并确保服务器的可用性，不断优化系统架构、提升部署效率和优化资源利用率等。数据库运维包括具备软件安装、配置优化、数据恢复和迁移、数据库故障排除、预防性巡检等一系列能力。运维工程师面对的最大挑战是大规模服务器集群的管理问题，如何管理好几十万台服务器上的服务，同时保障服务的高可用性，是运维工程师面临的最大难题。因此，作为运维类工作，特别是大数据级的运维工作，职位要求应该具备扎实的基础知识。包括掌握如 Java/Python 等至少 2 种编程语言、熟练掌大数据技术与

13、应用专业建设调研报告第 7 页握常用的算法并能灵活运用、熟悉网络基础知识、深入理解 Linux 操作系统等。同时，在大数据环境下，还应该掌握熟悉分布式计算或者存储系统。3)、大数据技术支持类：大数据技术支持类包括售前技术支持和售后技术支持。售前技术支持能够在大数据应用系统实施前遇到无法解决的问题时提供技术支持；售后技术支持能够在大数据应用系统部署完成后，为客户提供售后服务，帮助工程师诊断并解决大数据应用系统使用过程中出现的问题。该类职位需要掌握大规模服务器集群知识，以及大数据相关基础。具体包括掌握至少 1 门编程语言、掌握 Linux 操作系统、掌握分布式计算和存储系统等。同时技术支持需要面对

14、客户，应具备一定的沟通和团队协作能力。校企专家通过对上述典型工作岗位的能力要求分析研讨，形成大数据技术与应用专业岗位职业能力分析表。表 3-4 大数据技术与应用主要工作任务描述典型工作任务能力要求 知识要求 技能要求 课程大数据平台运维通过系统监控、集群配置等技术手段，保证大数据平台能够长期稳定的支撑企业大数据业务的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如 Linux、Windows）5、掌握主流数据库基础技术（如1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理服务器和存储，完成相关设备的

15、维护3、能够完成操作系统的安装和配置4、能够完成大数据处理技术（Python）数据库基础Linux 操作系统大数据概论网络技术大数据平台构建大数据安全管理Hadoop 综合实训大数据技术与应用专业建设调研报告第 8 页oracle、MySQL、NoSql等）6、掌握脚本编写方法（如 shell、Python 等）7、掌握 Hadoop/Spark相关组件的基础理论知识及运维工具的使用；8、掌握HDFS、Hbase、hive、yarn 等组件的基本操作数据平台的日常维护5、能够使用工具完成大数据平台的软硬件平台运行状态监控6、能够完成大数据平台的故障应急处理云计算与虚拟化Spark 综合实训数据

16、预处理通过数据抽取、整理、传输、加载、校验等技术手段，结合工具，保证高效的为大数据分析提供高质量的数据资源的工作能力1、掌握计算机基础知识；2、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）3、掌握 shell 脚本编程，熟悉 Java、Python 等开发语言4、掌握 Hadoop/Spark相关组件的基础理论知识及运维工具的使用；1、能够使用工具从数据源抽取所需数据2、能够使用工具对数据进行指定操作，如转换、清洗、校验等3、能够使用工具完成数据加载，如传输、建库、校验等4、具备分布式ETL 过程调优能力应用程序开发基础（Java）数据处理技术（Python）数据库基础H

17、adoop 综合实训Spark 综合实训爬虫技术实训云计算与虚拟化概率论与数理统计数据清洗大数据平台部署通过综合运用服务器、交换机、存储、虚拟化、云计算、大数据等基础知识，保证快速、高效的完成大数据平台环境等搭建和部署的工作能1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如 Linux、Windows）5、掌握主流数据库基础1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理服务器和存储，完成相关设备的维护3、能够完成操作系统的安装和配置数据库基础Linux 操作系统大数据概论网络技术大数据平台构建大数据安全

18、管理大数据测试技术Hadoop 综合大数据技术与应用专业建设调研报告第 9 页力 技术（如Oracle、MySQL、NoSql等）6、了解大数据基础知识和基本框架4、能够完成大数据平台的搭建、测试及调优实训Spark 综合实训云计算与虚拟化可视化设计与开发通过数据可视化报表技术、商业智能报表工具、常用 Web 开发框架以及程序开发语言，能够进行可视化应用的设计、开发与展示，直观的为客户呈现大数据的价值1、掌握主流操作系统（如 Linux、Windows）2、掌握数据可视化报表技术，如Echarts、Highcharts 等3、掌握商业智能报表工具的设计和使用4、掌握 Web 开发框架和程序开发

19、语言，如PHP、Java、HTML5、CSS、JavaScript 等5、掌握数据库相关知识1、能够使用 Web开发框架进行可视化应用开发2、能够根据行业领域需求进行可视化设计3、能够使用 BI工具进行商业智能报表设计、开发与展示应用程序开发基础（Java）数据处理技术（Python）数据库基础大数据概论数据结构与算法软件工程Web 开发技术大数据可视化技术大数据分析技术流式计算技术实训大数据测试技术概率论与数理统计大数据后台应用开发实战OLAP 数据分析实战大数据仓库与数据挖掘大数据技术与应用专业建设调研报告第 10 页大数据应用开发通过对大数据进行分析处理、结合软件开发流程，按照业务需求完

20、成大数据应用开发的相关软件设计与实现的工作能力1、 掌握软件工程和软件开发基础知识2、 掌握数据库开发基础知识3、 了解大数据开发平台4、 掌握开发环境的设置5、 掌握 HDFS 文件存储操作6、 掌握MapReduce/Spark 编程7、 了解专业领域的数据分析方法1、 能够搭建好大数据程序开发的环境2、 能够根据用户需求利用开发语言进行大数据分析和预处理3、 能够进行大数据应用程序开发4、 能够完成功能性测试应用程序开发基础（Java）数据处理技术（Python）数据库基础大数据概论数据结构与算法软件工程Web 开发技术大数据可视化技术大数据分析技术流式计算技术实训大数据测试技术概率论与数理统计大数据后台应用开发实战OLAP 数据分析实战大数据仓库与数据挖掘