1、 大数据技术原理与应用 厦门大学计算机科学系 林子雨 厦门大学计算机科学系 2015年版林子雨厦门大学计算机科学系E-mail: 主页： http:/ 大数据处理架构 Hadoop（ PPT版本号： 2015年 6月第 1.0版 ） 大数据技术原理与应用http:/ PPT的厦大校徽和底部文字 大数据技术原理与应用 厦门大学计算机科学系 林子雨 提纲 2.1 概述 2.2 Hadoop项目结构 2.3 Hadoop的安装与使用欢迎访问 大数据技术原理与应用 教材官方网站：http:/ PPT是如下教材的配套讲义：21世纪高等教育计算机规划教材 大数据技术原理与应用 概念、存储、处理、分析与应用
2、 （ 2015年 6月第 1版）厦门大学 林子雨 编著，人民邮电出版社ISBN:978-7-115-39287-9 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1 概述 2.1.1 Hadoop简介 2.1.2 Hadoop发展简史 2.1.3 Hadoop的特性 2.1.4 Hadoop的应用现状 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1.1 Hadoop简介 Hadoop是 Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于 Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群
3、中Hadoop的核心是分布式文件系统 HDFS（ Hadoop Distributed File System）和 MapReduceHadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力几乎所有主流厂商都围绕 Hadoop提供开发工具、开源软件、商业化工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等，都支持Hadoop 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1.2 Hadoop发展简史 Hadoop最初是由 Apache Lucene项目的创始人 Doug Cutting开发的文本搜索库。 Hadoop源自始于 2002年的 Apache Nut
4、ch项目 一个开源的网络搜索引擎并且也是 Lucene项目的一部分 在 2004年， Nutch项目也模仿 GFS开发了自己的分布式文件系统NDFS（ Nutch Distributed File System），也就是 HDFS的前身 2004年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了MapReduce分布式编程思想 2005年， Nutch开源实现了谷歌的 MapReduceHadoop的标志 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1.2 Hadoop发展简史 到了 2006年 2月， Nutch中的 NDFS和 MapReduce开始独立出来，成为 Lucen
5、e项目的一个子项目，称为 Hadoop，同时， Doug Cutting加盟雅虎 2008年 1月， Hadoop正式成为 Apache顶级项目， Hadoop也逐渐开始被雅虎之外的其他公司使用 2008年 4月， Hadoop打破世界纪录，成为最快排序 1TB数据的系统，它采用一个由 910个节点构成的集群进行运算，排序时间只用了 209秒在 2009年 5月， Hadoop更是把 1TB数据排序时间缩短到 62秒。Hadoop从此名声大震，迅速发展成为大数据时代最具影响力的开源分布式开发平台，并成为事实上的大数据处理标准 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1.3 Ha
6、doop的特性Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性： 高可靠性 高效性 高可扩展性 高容错性 成本低 运行在 Linux平台上 支持多种编程语言 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.1.3 Hadoop的应用现状 Hadoop凭借其突出的优势，已经在各个领域得到了广泛的应用，而互联网领域是其应用的主阵地 2007年，雅虎在 Sunnyvale总部建立了 M45 一个包含了 4000个处理器和 1.5PB容量的 Hadoop集群系统 Facebook作为全球知名的社交网站， Hado
7、op是非常理想的选择，Facebook主要将 Hadoop平台用于日志处理、推荐系统和数据仓库等方面 国内采用 Hadoop的公司主要有百度、淘宝、网易、华为、中国移动等，其中，淘宝的 Hadoop集群比较大 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.2 Hadoop项目结构经过多年的发展， Hadoop项目不断完善和成熟，目前已经包含多个子项目（如图 2-2所示）除了核心的 HDFS和 MapReduce以外， Hadoop项目还包括 Common、Avro、 Zookeeper、 HBase、 Hive、 Chukwa、 Pig等子项目，它们提供了互补性服务或在核心层上提供了更高层的服务图 2-2 Hadoop项目结构图 大数据技术原理与应用 厦门大学计算机科学系 林子雨 2.3 Hadoop的安装与使用Hadoop基本安装配置主要包括以下几个步骤： 创建 Hadoop用户 Java安装 SSH登录权限设置 单机安装配置 伪分布式安装配置
