分布式文件系统HDFS提纲提纲1 1 分布式文件系统分布式文件系统2 2 HDFSHDFS简介简介3 3 HDFSHDFS相关概念相关概念4 4 HDFSHDFS体系结构体系结构5 5 HDFSHDFS存储原理存储原理6 6 HDFSHDFS数据读写过程数据读写过程7 7HDFSHDFS编程实践编程实践1 1分布式文件系统分布式文件系统1.1 计算机集群结构1.2 分布式文件系统的结构1.11.1 计算机集群结构计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群,都是由普通硬件构成的,这就大大降低了硬件上的开销图3-1 计算机集群的基本架构 1.21.2 分布式文件系统的结构分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类,一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点”(DataNode)图