精选优质文档-倾情为你奉上大数据技术的实现离不开很多其他的技术，我们提到最多的就是Hadoop技术，其实就目前而言，Hadoop技术看似是自成一套体系，其实并不是这样的，Hadoop和Spark以及分布式数据库其实也是存在差异的，我们就在这篇文章中给大家介绍一下这些内容。首先我们说一说大数据分析，现在的大数据分析体系以Hadoop生态为主，而近年来逐渐火热的Spark技术也是主要的生态之一。可以这么说，Hadoop技术只能算是以HDFS+YARN作为基础的分布式文件系统，而不是数据库。我们提到的Hadoop的历史可以向前追溯10年，当年谷歌为了在几万台PC服务器上构建超大数据集合并提供极高性能的并发访问能力，从而发明了一种新的技术，而这个技术，也是Hadoop诞生的理论基础。如果我们从Hadoop的诞生背景可以看出，其主要解决的问题是超大规模集群下如何对非结构化数据进行批处理计算。实际上，在Hadoop架构中，一个分布式任务可以是类似传统结构化数据的关联、排序、聚集操作，也可以是针对非结构化数据的用户自定义程序逻辑。那么Hadoop的发展道路是什么样的呢
