精选优质文档-倾情为你奉上常用Python爬虫库汇总Python爬虫,全称Python网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或脚本,主要用于抓取证券交易数据、天气数据、网站用户数据和图片数据等,Python为支持网络爬虫正常功能实现,内置了大量的库,主要有以下类型:一、Python爬虫网络库Python爬虫网络库主要包括:urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。二、Python网络爬虫框架Python网络爬虫框架主要包括:grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。三、HTML/XML解析器lxml:C语言编写高效HTML/ XML处理库,支持XPath;cssselect:解析DOM树和CSS选择器;pyquery:解析DOM