1、山东建筑大学课 程 设 计 成 果 报 告题 目： 基于 Python 的网络爬虫设计课 程： 计算机网络 A院 （部）： 管理工程学院专 业： 信息管理与信息系统班 级： 学生姓名：学 号： 指导教师： 完成日期： 目 录1 设计目的 .12 设计任务内容 .13 网络爬虫程序总体设计 .14 网络爬虫程序详细设计 .14.1 设计环境和目标分析 .14.1.1 设计环境 .14.1.2 目标分析 .24.2 爬虫运行流程分析 .24.3 控制模块详细设计 .34.3 爬虫模块详细设计 .34.3.1 URL 管理器设计 .34.3.2 网页下载器设计 .34.3.3 网页解析器设计 .34
2、.4 数据输出器详细设计 .45 调试与测试 .45.1 调试过程中遇到的问题 .45.2 测试数据及结果显示 .56 课程设计心得与体会 .57 参考文献 .68 附录 1 网络爬虫程序设计代码 .69 附录 2 网络爬虫爬取的数据文档 .901 设计目的本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完计算机网络课程后进行的一次全面的综合练习。本课程设计的目的和任务：1巩固和加深学生对计算机网络基本知识的理解和掌握；2培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；3提高学生进行技术总结和撰写说明书的能力。2 设计任务内容网络爬
3、虫是从 web 中发现,下载以及存储内容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当前页面上抽取新的 URL 放入队列，直到满足系统的一定停止条件。参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。给出软件测试结果。3 网络爬虫程序总体设计在本爬虫程序中共有三个模块：1、爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况2、爬虫模块：包含三个小模块，URL 管理器、网页下载器、网页解析器。（1）URL 管理器：对
4、需要爬取的 URL 和已经爬取过的 URL 进行管理，可以从 URL管理器中取出一个待爬取的 URL，传递给网页下载器。（2）网页下载器：网页下载器将 URL 指定的网页下载下来，存储成一个字符串，传递给网页解析器。（3）网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的 URL，这些 URL 被解析出来会补充进 URL 管理器3、数据输出模块：存储爬取的数据4 网络爬虫程序详细设计4.1 设计环境和目标分析4.1.1 设计环境爬虫控制器URL 管理器网页下载器网页解析器 数据输出器1IDE：pycharmPython 版本：p
5、ython2.7.134.1.2 目标分析目标：从百度词条 Python 开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介（1）初始 URL：“http:/ URL 格式：http:/ 爬虫运行流程分析爬虫程序的运行流程如图所示。（1）爬虫控制器从给定的 URL 开始，将给定的初始 URL 添加到 URL 管理器中，然后调用 URL 管理器的相关方法，判断是否有待爬取的 URL（2）URL 判断是否有待爬取的 URL，如果有待爬取的 URL，则返回给控制器，控制器将这个 URL 传递给网页下载器，下载该网页（3）网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解
6、析器解析（4）网页解析器解析网页之后获取网页数据和网页的 URL 链接，再将这两个数据传递给控制器（5）控制器得到解析出来的数据之后，将新的 URL 链接传递给 URL 管理器，将价值数据传递给数据输出器输出（6）数据输出器以文本的形式输出传递进来的数据。（7）回到第一步，循环24.3 控制模块详细设计爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。比较简单，可参见附录 1 查看源码。4.3 爬虫模块详细设计4.3.1 URL 管理器设计URL 管理器主要管理待抓取的 URL 集合和已抓取的 URL 集合。URL 管理器设计的难点在于：防
7、止重复抓取，防止循环抓取。添加新 URL 到待爬取集合中常用的 URL 管理器存储方式有三种，一是使用 python 内存即 set 集合来存储 URL，二是使用数据库，例如 MySQL，三是使用缓存数据库，例如 redis。因为这只是个简单的python 爬虫，所以我们选择利用内存存储 URL。建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。4.3.2 网页下载器设计网页下载器是将互联网上 URL 对应的网页下载到本地的工具。Python 常用的网页下载器有两种，一个是 python 自带的 urllib2，一个是第三方包requests。这里我们选用的是 urllib2，比
8、较简单的网页下载工具，其中最简洁的下载网页的代码如下：import urllib2response = urllib2.urlopen(url)# 如果请求码不是 200，则表示请求不成功。# 典型的错误包括 404（页面无法找到），403（请求禁止），401（待验证的请求）# 5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求if response.getcode() != 200:print “download html failed“cont= response.read()4.3.3 网页解析器设计网页解析器是从网页中提取有价值数据的工具。判断待添加 U
9、RL是否在容器中URL 管理器将 URL 从待爬取集合移动端已爬取集合获取待爬取URL判断是否还有待爬取 URL3HTML 网页字符串Python 常用的解析器有四种，一是正则表达式，二是 html.parser，三是beautifulSoup，四是 lxml。这里我选用的是 beautifulSoup 作为我的网页解析器，相对于正则表达式来说，使用 beautifulSoup 来解析网页更为简单。beautifulSoup 将网页转化为DOM 树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。使用方法如下：#创建 BeautifulSoup
10、对象soup = BeautifulSoup(html_cont, html.parser, from_encoding=utf-8)#查找所有标签为 a 的节点，且 href 匹配正则表达式links = soup.find_all(a, href=pile(r“/item/%“)#查找所欲标签为 div 的节点summary_node = soup.find(div, class_=“lemma-summary“)4.4 数据输出器详细设计数据输出器是负责数据输出的工具。如果要输出的文件不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。这里我选择的输出方式是 TXT 文档，直接将
11、数据分析器得到的数据存储在 output.txt 文件中。5 调试与测试5.1 调试过程中遇到的问题（1）爬取第一个页面之后没有新的页面解决方案：根据子网页，选择合适的正则表达式（1）测试过程中某些网页中缺少标题或简介。网页解析器价值数据新 URL 列表4解决方案：往集合中添加数据的时候，判断一下是否为空，不为空再添加。5.2 测试数据及结果显示测试的结果以 txt 文档形式显示，生成的文档路径和代码路径一致、6 课程设计心得与体会Python 是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向 CPU 进行翻译，个人理解就是一边编译一边
12、执行。而 Java 这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。这一类语言也没用类型，也就是说一个变量即可能是 int 型，但是也可能是 String 型，而且可以随时变化。 5python 对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。 Python 也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。这样做的好处在于代码编写看上去很统一，不过习惯了 java 再看 python，一开始还真的有点懵。 总得来说，对 Python 的初涉感觉不错，这门语言相比较 Java 更加
13、的简洁，这次的课设是初步接触 python，以后会自己深入学习。7 参考文献1 钱程,阳小兰,朱福喜等.基于 Python 的网络爬虫技术J.黑龙江科技信息,2016,(36):273.2 戚利娜,刘建东.基于 Python 的简单网络爬虫的实现J.电脑编程技巧与维护,2017,(8):72-73.3 Wesley.J.C,Core Python Programming. 2001-9-118 附录 1 网络爬虫程序设计代码spiderMain.py# coding:utf-8import loggingfrom webCraler import url_manager, html_downl
14、oader, html_outputer, html_parserclass SpiderMain(object):#初始化 URL 管理器，网页下载器，网页解析器和数据输出器def _init_(self):self.urls = url_manager.UrlManager()self.downloader = html_downloader.HtmlDownloader()self.parser = html_parser.HtmlParser()self.outputer = html_outputer.HtmlOutputer()#爬取网页def craw(self, url):co
15、unt = 1#向 URL 管理器添加新的 URLself.urls.add_new_url(url)while self.urls.has_new_url():try:#如果有新的 URL，获取这个新的 URLnew_url = self.urls.get_new_url()#打印这是第几个爬取的 URLprint craw %d : %s % (count, new_url)#使用网页下载器下载这个网页的内容html_cont = self.downloader.download(new_url)#使用网页解析器解析这个网页的内容，分别为 URL 和数据new_urls, new_data
16、 = self.parser.parse(new_url, html_cont)#将解析器解析的 RL 添加到 URL 管理器self.urls.add_new_urls(new_urls)#将解析器解析的数据传递给数据输器self.outputer.collect_data(new_data)6# 爬取 10 个数据后自动结束if count = 20:breakcount = count+1except Exception as e:logging.exception(e)print craw failed#数据输出器将数据使用 HTML 的方式输出self.outputer.output
17、_html()if _name_ = _main_:print “begin“root_url = “http:/ = SpiderMain()obj_spider.craw(root_url)url_manager.py# coding:utf-8class UrlManager(object):def _init_(self):self.new_urls = set()self.old_urls = set()# 添加 URLdef add_new_url(self, url):if url is None:returnif url not in self.new_urls and url
18、 not in self.old_urls:self.new_urls.add(url)def add_new_urls(self, urls):if urls is None or len(urls) = 0:returnfor url in urls:self.add_new_url(url)def has_new_url(self):return len(self.new_urls) != 0def get_new_url(self):new_url = self.new_urls.pop()self.old_urls.add(new_url)return new_urlhtml_dow
19、nloader.py# coding:utf-8import urllib2class HtmlDownloader(object):def download(self, url):if url is None:return None7response = urllib2.urlopen(url)# 如果请求码不是 200，则表示请求不成功。# 典型的错误包括 404（页面无法找到）， 403（请求禁止）， 401（待验证的请求）# 5XX 回应代码以 “5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求if response.getcode() != 200:print “dow
20、nload html failed“return Nonereturn response.read()url_parse.py# coding:utf-8import urlparsefrom bs4 import BeautifulSoupimport reclass HtmlParser(object):def parse(self, page_url, html_cont):if page_url is None or html_cont is None:returnsoup = BeautifulSoup(html_cont, html.parser, from_encoding=ut
21、f-8)#解析 URL 列表，获取 URLnew_urls = self._get_new_urls(page_url, soup)# 解析数据new_data = self._get_new_date(page_url, soup)print new_datareturn new_urls, new_datadef _get_new_urls(self, page_url, soup):new_urls = set()# http:/ http:/ = soup.find_all(a, href=pile(r“/item/%“)for link in links:new_url = linkhref# http:/ = urlparse.urljoin(“http:/ new_urlsdef _get_new_date(self, page_url, soup):res_data = # urlres_dataurl = page_url# Pythontitle_node = soup.find(dd,class_=“lemmaWgt-lemmaTitle-title“).find(h1)res_datatitle = title_node.get_text()# summary_node = soup.find(div, class_=“lemma-summary“)
