摘要 摘要 网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜 索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的 特定信息，如招聘信息，租房信息等。 本文通过 JAVA 实现了一个基于广度优先算法的多线程爬虫程序。本论文 阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如 何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过 程中的数据存储；网页信息解析等。 通过实现这一爬虫程序，可以搜集某一站点的 URLs，并将搜集到的 URLs 存入数据库。 【关键字】网络爬虫；JAVA；广度优先；多线程。 ABSTRACT II ABSTRACT SPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically inform
