Spark-机器学习.docx

1.机器学习1.1.机器学习1.1.1.机器学习随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算（在MapReduce中，由于其分布式特性所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。），却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。1.2.介绍1.2.1. 介绍北京市海淀区部分楼盘价格数据餌加万元】牡：厅axn8250135.00329975133003210001005013400323040064003216WZ7D0