1、大数据技术领域大数据技术领域若干关键问题若干关键问题西北大学信息科学与技术学院西北大学信息科学与技术学院陈陈 莉莉 教授教授 /博导博导2014.4.24* NWU 智能信息处理研究所 2风云变幻中风云变幻中 题题 序序何为大数据（何为大数据（ BIG DATA） ? Very large data ? Massive data ?Big data ?* NWU 智能信息处理研究所 4大数据（ Big Data） 超大规模 数据？ 海量 数据？ “very large”大？还是 “big”大 ？ 相对于当时的 CPU和存储技术水平，均指数据规模很大 “超大规模数据库 ”（ VLDB）这个词是
2、20世纪 70年代中期出现 的。 VLDB会议 1975年发起。 数百万条记录即超大规模 “海量数据 ”则是 21世纪初出现的词 ，越来越多的应用建立在多源数据集成基础之上时，数据规模急剧扩大，数据类型由关系数据，到非结构化的、半结构化数据。 非结构化数据是指在获得数据之前无法预知其结构的数据，如文本、图像、视频等。 包含数千万个文档、数百万张照片或者工程设计图的数据集很平常，关系数据库无法有效管理这些数据，如何快速访问数据成为核心挑战。以 Hadoop为代表的分布式文件系统和 MapReduce计算框架应运而生 2008年 9月 科学 （ Science）杂志发表了一篇文章 “BigData
3、: Science in the Petabyte Era”， “大数据 ”这个词开始传播 所谓大数据，泛指规模达到几百，甚至级的数据，广泛出现在科学研究所谓大数据，泛指规模达到几百，甚至级的数据，广泛出现在科学研究 ,集成、多媒体等诸多领域中集成、多媒体等诸多领域中 大数据是伴随数据获取技术的发展， Web 2.0、 WSN（传感网）和 CPS （物联网）等应用的快速普及而提出的概念* NWU 智能信息处理研究所 5从历史的视角从历史的视角 “超大规模数据 ”指表示和处理的是 GB级别的数据 ，主要研究关系数据模型的高效实现技术、事务管理与故障恢复技术、索引与查询优化技术等，创建了一套关系数
4、据库的理论与技术体系，已在商业上取得了成功。 “海量数据 ”指表示和处理的数据是 TB级的数据 ，主要研究各种非结构化数据的有效管理、多数据源的集成问题。涉及如何统一表达非结构化数据，如何实现基于语义的非结构化数据的集成和检索，如何解决与应用紧密相关的功能与数据管理系统融合等问题。我国 “核心电子器件、高端通用芯片及基础软件产品 ”（ “核高基 ”）科技重大专项也将非结构化数据管理作为需要重点突破的关键技术加以重点支持。 “大数据 ”指表示和处理的数据是 PB级别及其以上的数据 。 大数据并非单指数据量之大。 如果说海量数据主要从存储角度考虑问题，则大数据除了数据存储，还包括数据处理、感知等。
5、 * NWU 智能信息处理研究所 6大数据形成于 用电子显微镜重建大脑中的突触网络， 1立方毫米大脑的图像数据就超过 1PB 据 IDC统计， 2011年全球被创建和被复制的数据总量为 1.8ZB（ 1021）， 其中 75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（ 200PB） 谷歌公司通过大规模集群和 MapReduce软件，每个月处理的数据量超过 400PB 百度每天大约要处理几十 PB数据 Facebook注册用户超过 10亿，每月上传的照片超过 10亿张，每天生成 300TB以上的日志数据 淘宝网会员超过 3.7亿，在线商品超过 8.8亿，每
6、天交易数千万笔，产生约 20TB数据；雅虎的总存储容量超过 100PB 每个人类基因数据： 300 GB 700 GB；基因定位和分析所需时间 :1000+ 机时：1000 个基因分析需要 114年 各类移动设备产生了大量的大数据；传感网和物联网的蓬勃发展形成大数据集合 各城市的视频监控每时每刻都在采集巨量的流媒体数据 劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送 PB量级的数据 数据形成的过程：被动产生 主动产生 自动产生* NWU 智能信息处理研究所 7移动互联网：即时通迅n 微信是腾讯公司推出免费即时通讯服务的聊天软件。可以通过手机、平板、网页快速发送语音、视频、图片和文
7、字。微信提供公众平台、朋友圈、消息推送等功能，用户可以通过摇一摇、搜索号码、附近的人、扫二维码方式添加好友和关注公众平台，同时微信帮将内容分享给好友以及将用户看到的精彩内容分享到微信朋友圈。 * NWU 智能信息处理研究所 8表 1 存储容量单位* NWU 智能信息处理研究所 9表 2 9GB DVD光盘 /1TB 2.5寸硬盘 保存 1.8ZB数据比较 1.8ZB数据如果用 9GB的 DVD盘来保存，叠加起来的高度超过 26万公里，大约是地球到月球距离的 2/3；如果用 1TB的 2.5寸磁盘保存，叠加起来的高度超过 1.7万公里，接近地球周长的一半 ;每位美国人每分钟写 3条 Twitte
8、r微博，不停地写 2 6976万年 ; 事实上，多数磁盘的容量可能还不到 1TB，存储这些数据的磁盘是十分惊人的数字。* NWU 智能信息处理研究所 10大数据的概念n 定义 1大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 维基百科Big data usually includes data sets with sizes beyond the ability of commonly-used software tools to capture, curate, manage, and process the data within a tolerable elapsed time. Wiki
