第一部分：Hadoop计算框架的特性什么是数据倾斜由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点。Hadoop框架的特性1) 不怕数据大，怕数据倾斜2) jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是mapreduce作业初始化的时间是比较长的3) sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题4) count(distinct)，在数据量大的情况下，效率较低，因为count(distinct)是按groupby字段分组，按distinct字段排序，一般这种分布方式是很倾斜的。第二部分：优化的常用手段优化的常用手段1) 解决数据倾斜问题2) 减少job数3) 设置合理的mapreduce的task数，能有效提升性能。4) 了解数据分布，自己动手解决数据倾斜问题是个不错的选择5) 数据量较大的情况下，慎用count(distinct)。6) 对小文件进
