温馨提示：由于个人手机设置不同，如果发现不能下载，请复制以下地址【https://www.wenke99.com/d-12093808.html】到电脑端继续下载（重复下载不扣费）。
1: 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。 2: 试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。 3: 文件的所有权益归上传用户所有。 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。 5. 本站仅提供交流平台，并不能对任何下载内容负责。 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
本文（spark的优化-控制数据分区和分布(共6页).doc）为本站会员（晟***）主动上传，文客久久仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知文客久久（发送邮件至hr@wenke99.com或直接QQ联系客服），我们立即给予删除！
精选优质文档-倾情为你奉上spark的优化控制数据分区和分布 数据分区：在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件，从而减少网络传输，但是增加了cpu的计算负载。Spark里面io也是不可避免的，但是网络传输spark里面进行了优化：spark把rdd进行分区（分片），放在集群上并行计算。同一个rdd分片100个，10个节点，平均一个节点10个分区当进行sum型的计算的时候，先进行每个分区的sum，然后把sum值shuffle传输到主程序进行全局sum，所以进行sum型计算对网络传输非常小。但对于进行join型的计算的时候，需要把数据本身进行shuffle，网络开销很大。spark是如何优化这个问题的呢？spark把keyvalue rdd通过key的hashcode进行分区，而且保证相同的key存储在同一个节点上，这样对改rdd进行key聚合时，就不需要sh
Copyright © 2018-2021 Wenke99.com All rights reserved
工信部备案号：浙ICP备20026746号-2
公安局备案号：浙公网安备33038302330469号
本站为C2C交文档易平台，即用户上传的文档直接卖给下载用户，本站只是网络服务中间平台，所有原创文档下载所得归上传人所有，若您发现上传作品侵犯了您的权利，请立刻联系网站客服并提供证据，平台将在3个工作日内予以改正。
