大数据运维 郭现伟大数据知识图谱大数据运维知识图谱Hadoop简介 Hadoop 是一个能够让 用户轻 松架构和使用的分布式计 算平台。用户 可以 轻 松地在 Hadoop 上开发 和运行处 理海量数据的应 用程序。它主要有以下几个优 点: 高可靠性。Hadoop 按位存储 和处 理数据的能力值 得人们 信赖 。 高扩 展性。Hadoop 是在可用的计 算机集簇间 分配数据并完成计 算任务 的, 这 些集簇可 以方便地扩 展到数以千计 的节 点中。 高效性。Hadoop 能够 在节 点之间动态 地移动 数据,并保证 各个节 点的动态 平衡,因 此处 理速度非常快。 高容错 性。Hadoop 能够 自动 保存数据的多个副本,并且能够 自动 将失败 的任务 重新分 配。 低成本。 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的 数据提供了存储,而MapReduce则为海量的数据提供了计算Map Reduce 分布式计 算框架 分布式计 算框架将复杂 的数据集分发给 不同的节 点去操作,每个节 点会周期性的返回它所完成的工作和最新的状 态Hadoop分布式