后Hadoop时代的大数据架构.docx

上传人:晟*** 文档编号:13945276 上传时间:2022-09-10 格式:DOCX 页数:11 大小:1.25MB
下载 相关 举报
后Hadoop时代的大数据架构.docx_第1页
第1页 / 共11页
后Hadoop时代的大数据架构.docx_第2页
第2页 / 共11页
后Hadoop时代的大数据架构.docx_第3页
第3页 / 共11页
后Hadoop时代的大数据架构.docx_第4页
第4页 / 共11页
后Hadoop时代的大数据架构.docx_第5页
第5页 / 共11页
点击查看更多>>
资源描述

后Hadoop时代的大数据架构背景篇Hadoop: 开源的数据分析平台,解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非结构化数据,包括HDFS,MapReduce基本组件。 HDFS:提供了一种跨服务器的弹性数据存储系统。 MapReduce:技术提供了感知数据位置的标准化处理流程:读取数据,对数据进行映射(Map),使用某个键值对数据进行重排,然后对数据进行化简(Reduce)得到最终的输出。 Amazon Elastic Map Reduce(EMR): 托管的解决方案,运行在由Amazon Elastic Compute Cloud(EC2)和Simple Strorage Service(S3)组成的网络规模的基础设施之上。如果你需要一次性的或不常见的大数据处理,EMR可能会为你节省开支。但EMR是高度优化成与S3 中的数据一起工作,会有较高的延时。 Hadoop 还包含了一系列技术的扩展系统,这些技术主要包括了Sqoop、Flume、Hive、Pig、Mahout、Datafu和HUE等。

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 重点行业资料库 > 农林牧渔 > 农学

Copyright © 2018-2021 Wenke99.com All rights reserved

工信部备案号浙ICP备20026746号-2  

公安局备案号:浙公网安备33038302330469号

本站为C2C交文档易平台,即用户上传的文档直接卖给下载用户,本站只是网络服务中间平台,所有原创文档下载所得归上传人所有,若您发现上传作品侵犯了您的权利,请立刻联系网站客服并提供证据,平台将在3个工作日内予以改正。