精选优质文档-倾情为你奉上1.1.1.1.1.1 Hadoop存储能力详细方案Hadoop采用HDFS作为其底层文件存储方式。HDFS是分布式文件系统，适合于存储大数据文件，通过将大数据文件切分成多个小数据文件，并且分散存放在多台DataNode服务器，同时提供数据冗余机制保证数据安全。本次Hadoop存储节点为：300台DataNode服务节点。存储数据安全及分配机制：采用3备份机制保证数据安全，同时为系统保留10%的临时数据交换空间，当数据量超过集群总容量的90%时，建议增加节点。存储总容量：300台数据节点，每个节点36T的磁盘容量，除去10%的临时数据交换空间，同时HDFS中一份数据存放着3份备份；最终存储容量公式如下可用存储容量=节点数*单节点磁盘容量*（1-临时数据交换空间比例）HDFS文件备份数量；即：可用存储容量=30036（1-10%）3=3240T；目录规划：针对不同的数据用途和支撑方式进行存储容量划分，存放在HDFS中的数据分为接口层，处理层，共享层。接口层主要为原始数据，处理层为存放在HDFS中数据经Hive映
