基于Hadoop构建对象存储系统By云深作者:Terry/Alen/Adam/SeymourZ转载请注明出处前言 云计算领域目前有两大代表性系统:Google和Amazon,它们各自的存储系统为GoogleGFS和AmazonS3,都提供高可靠性、高性能、高可扩展性的存储能力 HadoopHDFS就是GoogleGFS存储系统的开源实现,主要应用场景是作为并行计算环境(MapReduce)的基础组件,同时也是Bigtable(如HBase、HyperTable)的底层分布式文件系统。HadoopHDFS也有自身的局限性,虽然作为分布式文件系统称谓,但它并不适合所有的应用场合。如:单点namespace问题,小文件问题等,早有阐述。 AmazonS3作为一个对象存储系统运营,为客户提供1到5G任意大小的对象(文件)存储,从有限的资料来看,S3没有采用GFS的类似的体系架构,也不对外提供完整的文件系统呈现,更多的是一种对象存储访问的形式。 既然HadoopHDFS适合处理和存储