毕业论文——在线信息采集系统.docx

1、 本 科 毕 业 论 文 第 1 页 共 32 页摘要互联网是当今世界上最大的信息库和传播信息的最主要渠道，但是由于信息数据量巨大、整合程度低等特点，限制了对其蕴涵价值的挖掘，如何高效地采集有价值的网络信息资源，成为当前研究的热点。本文基于以上现状设计的在线信息采集系统是基于 JSP 技术的，它具有灵活的集成开发方法，顺利的完成了整个系统的完整的检验。该在线信息采集系统，界面简单，操作方便，灵活，实用，有效的信息采集相关业务管理的过程，大大提高了效率，使信息采集系统更加系统化，规范化，自动化，可用性，可靠性，安全性等。此系统采用标准的三层框架，将复杂的功能模块分为表示层、控制层、业务层等三层结

2、构，降低了系统开发的复杂性。主要采用了 JSP 技术开发，提高运行性能和系统的安全性能，而且易于维护的运行。本系统主要实现了爬虫参数维护、爬行开始、创建索引、已经爬行入库信息等几个功能模块。关键词： 信息采集 B/S 模式 MVC JSP本 科 毕 业 论 文 第 2 页 共 32 页AbstractAs computer performance continues to improve, prices continued to fall , the computer has been more widely used in the medical , teaching, research ,

3、 and management. In order to reduce the labor intensity of affairs officers , auxiliary hospital management , so that the hospital can get more with less investment benefits , scientific and effective hospital information systems have become essential in todays era . As an important part of the whol

4、e hospital information system , hospital outpatient management system can be used to achieve a variety of information processing medical clinic .This design of the hospital management system is based on JSP technology, it has a flexible integrated development approach , the successful completion of

5、a complete inspection of the entire system . The hospital management system , simple interface, easy to operate , flexible, practical and effective management of hospital -related business processes , greatly improving the efficiency of hospital management system enables a more systematic, standardi

6、zed , automated , availability, reliability , security is very All right. This system uses a standard three-tier framework , complex modules into the presentation layer , control layer structure layer, business layer , reducing the complexity of system development . The main use of JSP technology de

7、velopment, improve operational performance and system safety performance , and ease of maintenance operation. The system is divided into a 本 科 毕 业 论 文 第 3 页 共 32 页number of different roles for administrators and users , different roles have different permissions , the system achieved a major informa

8、tion management department administrators , operations personnel management, information feedback, and modify personal information and other functions .Keywords : Hospital B / S mode MVC Management System本 科 毕 业 论 文 第 4 页 共 32 页目 录第一章 绪论 .61.1 课题研究背景 .61.2 课题研究现状 .61.3 本课题主要工作 .7第二章 系统相关技术 .82.1 JSP

9、 技术 .82.2 MVC 模式 .92.3 B/S 结构 .92.4 MySQL 数据库介绍 .132.5 本章小结 .14第三章 系统需求分析 .153.1 系统总体目标 .153.2 系统可行性分析 .153.3 系统功能需求分析 .163.4 系统非功能需求分析 .163.5 系统开发环境与开发工具 .18第四章 系统设计与实现 .194.1 设计目标与原则 .194.2 系统架构设计 .204.2.1 总体架构设计 .204.2.2 系统网络拓扑结构图 .214.3 数据库设计 .214.3.1 数据库的选定 .214.3.2 数据库概念模型设计 .214.3.4 数据库逻辑设计 .

10、234.4 系统功能实现 .254.4.1 数据库链接实现 .254.4.2 爬虫参数维护模块实现 .25本 科 毕 业 论 文 第 5 页 共 32 页4.5.2 爬行开始功能实现 .264.5.3 创建索引功能实现 .274.5.4 已经爬行入库信息功能实现 .28总结 .30致谢 .31参 考 文 献 .32本 科 毕 业 论 文 第 6 页 共 32 页第一章 绪论1.1 课题研究背景在网络飞速发展的今天，Web 提供了丰富的网络信息资源，人们通过Internet 和 web 技术可以很容易的访问世界上各个角落的数据。但现实是用户获取自己需要的信息并不是一件容易的事。用户需要在这个不断

11、变化、开放的信息世界里面进行浏览、搜索、过滤、导航、收集、相关数据处理。各个数据源的数据模型、数据结构、内容表示以及使用的概念、词汇的不同，使得人们面对如此多的异构信息源时，很难准确找到自己所需信息。网络信息资源数量巨大，类型多样，形式丰富，且内容广泛，但它们具有分散性，缺乏一致性，整合程度低，信息关联不够等特点，科技工作者很难充分体现和挖掘出其中蕴涵的价值，也制约着更高层次应用的建立和实施。这也意味着要充分开发和利用网络信息资源，实现网络信息资源的共享并非易事。网络信息资源的分布和流通是非均衡性的，信息价值的实现也是有条件的；信息不会必然地、无条件地、自动地变成资源和财富。网络信息资源的优势

12、在于：它赋予了用户以强大的信息检索和获取能力。但在实际生活中，网络信息资源并不能将这个威力显示出来。人们在许多场合中并未感觉到使用它有很大便利。其中一个很重要的原因就在于日常生活中的网络信息资源缺乏整合性，从而使网络信息资源难以发挥强大作用。只有对网络信息资源进行积极有效的整合，才能真正实现网络信息资源的有序化，实现网络信息资源共享效用的最大化。在信息资源的整合过程中，数据采集是必不可少的、最重要的环节。设计开发一套功能高效的数据采集模式，保证数据获取的准确性，提高数据装载的效率，具有重大的现实意义。 1.2 课题研究现状一方面网络上的信息多种多样、丰富多彩，而另一方面用户却找不到他们所需要的

13、信息。这样的矛盾促使一种以 Web 搜索引擎为主的，用于提取网络有效资源的信息检索技术应运而生了。Google、AltaVista、天网等国内外知名的搜索引擎正是人们为了解决网上信息检索的难题，而在信息检索领域进行大量研究后的成果。这些搜索引擎通常使用一个或多个资源采集器从 Internet 上收本 科 毕 业 论 文 第 7 页 共 32 页集各种数据，然后在本地服务器上为这些数据建立索引，当用户检索时根据用户提交的检索条件从索引库中迅速查找到所需的信息。这些搜索引擎中常用的采集器有：Spiders、Crawlers、Web robots、Wanderers 等。目前许多国家和企业的情报部门

14、通过情报采集系统来跟踪和调查对手的情况，收集相关信息并提出预警分析使自己立于不败之地。最近几年，信息采集技术在国内的应用越来越广泛。从某个领域的科技人员到一些大的图书馆和企业，都更多的借助于网络信息采集系统来获取自己需要的信息。特别是随着信息采集技术的发展，用户从网上获取信息的效率不断提高，获得信息的完整性得到了很好的保障。采集功能的完善促使许多提供信息服务的部门，纷纷建立了针对本部门的特点的网络信息采集系统。这些采集系统都极大地提高了本部门的工作效率。为了更好的满足用户的需求，一些新的技术在信息采集过程被广泛采用。特别是在国外，多线程技术、并发技术、信息挖掘技术等已经在信息采集领域得到了很好

15、的应用和发展。新技术的应用和采集功能的不断完善，使得信息采集技术不仅仅用于知识信息的积累，也不断的向政治和军事领域扩展。1.3 本课题主要工作本文依据面向对象的软件开发流程，对需求分析到实施检测都进行了全方面的阐述。本人主要做了一下工作：1. 对需求进行分析。对采集系统的需求进行分析，了解该系统的主要特点和要实现的目标，和用户交流之后对用户的特点和系统的业务流程进行分析，全面掌握业务流程，理清系统的功能性需求和非功能性需求。2. 选择合适的技术方案。建立一个系统的开发平台，再对关键技术进行详细的研究。按照实用、开放、开源的原则，从数据库平台、系统平台、开发平台、应用服务器这几个方面，设计出既保

16、证满足需求，又开源可扩展的系统架构。利用大量的扩展产品要比传统的开发方式更灵活且成熟。3. 系统的设计和系统的实现。系统的设计原则依据 MVC 的设计思想，使得系统的外观、业务逻辑与数据存储处于分离的状态。详细分析系统的功能、业务流程、用户角色，以此为根据设计系统的结构，还详细地分析设计系统。本 科 毕 业 论 文 第 8 页 共 32 页第二章 系统相关技术2.1 JSP 技术JSP(JavaServer Pages)是由 Sun Microsystems 公司倡导、许多公司参与一起建立的一种动态网页技术标准。它是在传统的网页 HTML 文件(*.htm,*.html) 中插入 Java 程

17、序段(Scriptlet)和 JSP 标记(tag)，从而形成 JSP 文件(*.jsp)。 用 JSP开发的 Web 应用是跨平台的，即能在 Linux 下运行，也能在其他操作系统上运行。JSP 技术使用 Java 编程语言编写类 XML 的 tags 和 scriptlets，来封装产生动态网页的处理逻辑。网页还能通过 tags 和 scriptlets 访问存在于服务端的资源的应用逻辑。JSP 将网页逻辑与网页设计和显示分离，支持可重用的基于组件的设计，使基于 Web 的应用程序的开发变得迅速和容易。 Web 服务器在遇到访问 JSP 网页的请求时，首先执行其中的程序段，然后将执行结果连

18、同 JSP 文件中的 HTML 代码一起返回给客户。插入的 Java 程序段可以操作数据库、重新定向网页等，以实现建立动态网页所需要的功能。 JSP 与 Java Servlet 一样，是在服务器端执行的，通常返回该客户端的就是一个 HTML 文本，因此客户端只要有浏览器就能浏览。JSP 主要优先如下：（1）一次编写，到处运行。在这一点上 Java 比 PHP 更出色，除了系统之外，代码不用做任何更改。（2）系统的多平台支持。基本上可以在所有平台上的任意环境中开发，在任意环境中进行系统部署，在任意环境中扩展。相比 JSP/PHP 的局限性是显而易见的。 （3）强大的可伸缩性。从只有一个小的 w

19、ar 文件就可以运行 Servlet/JSP，到由多台服务器进行集群和负载均衡，到多台 Application 进行事务处理，消息处理，一台服务器到无数台服务器，Java 显示了一个巨大的生命力。 （4）多样化和功能强大的开发工具支持。这一点与 JSP 很像，Java 已经有了许多非常优秀的开发工具，而且许多可以免费得到，并且其中许多已经可以顺利的运行于多种平台之下。本 科 毕 业 论 文 第 9 页 共 32 页2.2 MVC 模式MVC 是一种目前广泛流行的软件设计模式。由于 J2EE 技术逐步走向完善，在实际生产中，MVC 设计被越来越多的使用，逐渐成为主流应用模型。与其它模式相比，MV

20、C 模式不但在显示、功能两大模块的分离上存在优势，而且支持以下功能：扩展性、维护性、移植性，此外使得组件具有可复用性。所谓 MVC ，即 Model模型、View视图、Controller控制器的缩写。具体将，就是将依照视图、模型、控制器的方式对输入、处理、输出流程进行分离处理。所以一般将应用分成三个不同的层次：模型层、视图层、控制层。事件至少会引起三者中的一个发生变化。因此，只要控制层将模型层的属性或有关数据进行改变，就会导致新的视图层得出现。同理，控制层导致视图层得变化，也会使得模型层发生变动。图 2-1 显示的是 Model、 View、Controller 之间的相互关系。图 2-1

21、MVC 模式体系结构与工作原理2.3 B/S 结构B/S 结构是 Browser/Server 的缩写，汉语中指的是浏览器以及服务器结构。B/S 的基础是 C/S，经过对 C/S 的修改、升级得到的。在 B/S 下，具有三层结构：首先，用户的操作界面通过浏览器实现；其次，大部分事务逻辑的实现基于服务器端；最后，少部分的事务逻辑的实现由前端完成。采用这种结构，不但使整体成本下降，而且将电脑的负载大大降低，从而减少工作量与工作强本 科 毕 业 论 文 第 10 页 共 32 页度。在现阶段，采用 B/S 模式结构，是很容易实现的。这种技术属于一次性开发，允许不同的工作人员从不同的地点，以不同的接入

22、方式，随时随地的对数据库进行管理，还能有效的保护数据平台和管理访问权限，保证有关数据的安全。1. B/S 架构软件的优点和缺点(1) 容易，升级方便。随着技术的进步，一般来讲，对于软件的修改原来越多，软件的升级周期越来越短。而采用 B/S 结构就能够很容易避免这方面的麻烦。对于一般的结构而言，在一个企业中，若电脑数量较多，维修人员会因维修与软件升级而来会奔波，工作强度极其巨大。而对于采用 B/S 结构的软件来讲，由于客户端（电脑）仅起到浏览器的作用，因此维修人员只需要维护好服务器就可以了。无论客户端多么庞大，都丝毫不会增加工作强度。另外，B/S 结构支持异地协助，可以实现异地的软件升级、维护。

23、采用 B/S 结构会大大降低所需的人力物力，从而提升工作效率。(2) 低成本，更多的选择。由于最常使用的操作系统是 windows，因此浏览器似乎成了必不可少的。然而在服务器操作系统竞争中，微软公司的产品未必是最好的。现在逐渐形成新的模式，即用 B/S 结构与 Linux 服务器进行匹配，这样带来的好处是更为安全可靠，另外还有一点非常重要，即 Linux 的数据库也是不收费的。这也说明了 B/S 结构对操作系统的选择不唯一，而是支持多种操作系统的。(3) 应用服务器的运行数据负荷重。根据分析我们知道，B/S 的三层结构分工明确，即绝大多数的事务逻辑由服务器端处理，另外客户端只起到浏览器的作用。这样虽然优势很多，但是也具有一定的缺点：即应用服务器上的负荷比较大，若服务器稍微出现问题，就会导致非常严重的后果，为了避免这种现象的出现，一般采取保护措施配备专门的数据库服务器。2. C/S 与 B/S 结构在技术上的比对C/S 结构软件客户机/服务器模式可以分为两层：首先是客户机，其次是服务器。客户机不但承担着对数据的输入、输出，而且在一定程度上要对相关数据进行处理、分析，还要对数据进行判断，合理分配，从而将通信的数据