温馨提示：由于个人手机设置不同，如果发现不能下载，请复制以下地址【https://www.wenke99.com/d-5165277.html】到电脑端继续下载（重复下载不扣费）。
1: 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。 2: 试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。 3: 文件的所有权益归上传用户所有。 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。 5. 本站仅提供交流平台，并不能对任何下载内容负责。 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
本文（分布式网络爬虫关键技术分析与实现.doc）为本站会员（顺腾）主动上传，文客久久仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知文客久久（发送邮件至hr@wenke99.com或直接QQ联系客服），我们立即给予删除！
.分布式网络爬虫关键技术分析与实现分布式网络爬虫体系结构设计 一、研究所属范围分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：1、基于局域网分布式网络爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网络连接相互通信。这些爬虫通过同一个网络去访问外部互联网，下载网页，所有的网络负载都集中在他们所在的那个局域网的出口上。由于局域网的带宽较高，爬虫之间的通信的效率能够得到保证；但是网络出口的总带宽上限是固定的，爬虫的数量会受到局域网出口带宽的限制。2、基于广域网分布式网络爬虫：当并行爬行器的爬虫分别运行在不同地理位置（或网络位置），我们称这种并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能位于中国，日本，和美国，分别负责下载这
Copyright © 2018-2021 Wenke99.com All rights reserved
工信部备案号：浙ICP备20026746号-2
公安局备案号：浙公网安备33038302330469号
本站为C2C交文档易平台，即用户上传的文档直接卖给下载用户，本站只是网络服务中间平台，所有原创文档下载所得归上传人所有，若您发现上传作品侵犯了您的权利，请立刻联系网站客服并提供证据，平台将在3个工作日内予以改正。
