VC++搜索引擎网络爬虫设计与实现.docx

上传人:乾*** 文档编号:12898253 上传时间:2022-06-25 格式:DOCX 页数:75 大小:469.54KB
下载 相关 举报
VC++搜索引擎网络爬虫设计与实现.docx_第1页
第1页 / 共75页
VC++搜索引擎网络爬虫设计与实现.docx_第2页
第2页 / 共75页
VC++搜索引擎网络爬虫设计与实现.docx_第3页
第3页 / 共75页
VC++搜索引擎网络爬虫设计与实现.docx_第4页
第4页 / 共75页
VC++搜索引擎网络爬虫设计与实现.docx_第5页
第5页 / 共75页
点击查看更多>>
资源描述

搜索引擎网络爬虫设计与实现摘要网络中的资源非常丰富,但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构,然后具体阐述了如何设计并实现搜索引擎的搜索器网络爬虫。多线程网络爬虫程序是从指定的Web页面中按照宽度优先算法进行解析、搜索,并把搜索到的每条URL进行抓取、保存并且以URL为新的入口在互联网上进行不断的爬行的自动执行后台程序。网络爬虫主要应用socket套接字技术、正则表达式、HTTP协议、windows网络编程技术等相关技术,以C+语言作为实现语言,并在VC6.0下调试通过。在网络爬虫的设计与实现的章节中除了详细的阐述技术核心外还结合了多线程网络爬虫的实现代码来说明,易于理解。本网络爬虫是一个能够在后台运行的以配置文件来作为初始URL,以宽度优先算法向下爬行,保存目标URL的网络程序,能够执行普通用户网络搜索任务。关键词搜索引擎;网络爬虫;URL搜索器;多线程-4-DesignandRealizationofSearchEngineNetworkSpi

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 重点行业资料库 > 商业租赁

Copyright © 2018-2021 Wenke99.com All rights reserved

工信部备案号浙ICP备20026746号-2  

公安局备案号:浙公网安备33038302330469号

本站为C2C交文档易平台,即用户上传的文档直接卖给下载用户,本站只是网络服务中间平台,所有原创文档下载所得归上传人所有,若您发现上传作品侵犯了您的权利,请立刻联系网站客服并提供证据,平台将在3个工作日内予以改正。