1、 本 科 毕 业 论 文 通用数据采集整合 系统 DCIS Universal Data Collection And Integration System DCIS 姓 名： 学 号： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 校外 指导教师： 项目经理 校内 指导教师： 年 月 摘 要 数据采集和整合就 是从大量的、不完全的、有 噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。随着信息技术的高速发展，人们积累的数据量急剧增长，如何从海量的数据中提取有用的知识成为当务 之急。 数据采集和整合 就是为顺应这种需要应运而生发展起
2、来的数据处理技术 1。它 是知识发现的关键步骤。 本系统是一个电信计费系统的子系统， 作为其后台服务模块， 总共可以分为两个部分，第一个部分是数据 采集，主 要实现获得用户在登入或者使用相关系统时候的记录；第二部分是数据 整合，主要对采集之后存到数据库中的数据进行整合，以便对数据可 以进行更好的操作。 本系统相关业务实现主要是通过 JAVA 语言技术；数据库 存储 实现 主要是基于 JDBC 的 Oracle 相关技术， SQL 管理， MySQL 等数据库连接技术 。 按模块上 主要 可分为 客户端数据采集模块，服务器端数据采集模块 ， 整合模块，平台界面设计及启动模块 关键词 ： 数据采集
3、；数据整合 Abstract Data Collection And Integration is a process that is from a large , incomplete, noisy, fuzzy and random data to get the extraction of implicit, people do not know in advance, but is potentially useful information and knowledge. With the rapid development of information technology, the
4、 accumulated data of people is in the rapid growth, how to extract the useful knowledge from the massive of data is very important. Data Collection And Integration is a data-processing technology to comply with this need then emerged to develop1. It is a crucial step in knowledge discovery. The syst
5、em is a subsystem of the telecommunications billing system, as a service modules part of its background, that can be divided into two parts, the first part is data collection, it main access to the user in the system log or use of record time; the second part is data integration, it main integration
6、 data after collected data to the database, then the data can be carried out in order to better operation. The system about logic is achieved through the technology of JAVA language; database storage about database is achieved through the technologies of Oracle, JDBC, SQL management, MySQL database
7、and other technology. By the module can be divided into client-side data acquisition modules, server-side data acquisition module, platform interface design and start-up module. Key words: data acquisition; data integration 目录 第一章 引言 . 1 第二章 系统总体设计 . 2 2.1 系统要 求 . 2 2.1.1 功能要 求 . 2 2.1.2 环境要 求 . 2 2
8、.2 总体设计 . 2 2.2.1 总体模块图 . 3 2.2.2 总体流程图 . 3 2.3 系统各个功能块简单说明 . 4 第三章 系统详细设计 . 5 3.1GUI 设计 . 5 3.2main 启动模块 . 7 3.3 模拟数据源设计 . 9 3.4 客户端数据采集设计 . 11 3.4.1 客户端数据采集概要类图 . 12 3.4.2 客户端数据采集时序图 . 12 3.4.3 客户端配置文件说明 . 13 3.4.4 相关类的详细说明 . 14 3.5 服务器端数据采集设计 . 17 3.5.1 服务器端数据采集概要类图 . 17 3.5.2 服务器端数据采集时序图 . 18 3.
9、5.3 服务器端数据采集配置文件 . 19 3.5.4 相关类的详细说明 . 20 3.6 数据整合设计 . 24 3.6.1 数据整合概要类图 . 25 3.6.2 数据整合时序 图 . 25 3.6.3 数据整合配置文件说明 . 26 3.6.4 相关类详细说明 . 27 3.7 数据库表设计 . 29 第四章 系统运行结果 . 32 4.1 进入系统 . 32 4.2 创建表 . 32 4.3 数据模拟源 . 33 4.4 采集服务器 . 34 4.5 采集客户端 . 36 4.6 数 据整合 . 37 第五章 结束语 . 39 致谢 . 40 参考文献 . 41 Contents Ch
10、apter I. Introduction . 1 Chapter II. System Design . 2 2.1 System Requirements . 2 2.1.1 Functional Requirements . 2 2.1.2 Environmental Needs . 2 2.2 The Overall Design. 2 2.2.1 Overall Block Diagram . 3 2.2.2 The Overall Flow . 3 2.3 Brief Description of Each Function Block . 4 Chapter III. The D
11、etailed Design of The System . 5 3.1 GUI Design . 5 3.2 The Main Started Module . 7 3.3 Data Simulation Source Design . 9 3.4 Client Data Collection Design . 11 3.4.1 Summary Class Diagram of Client Data Collection . 12 3.4.2 Scheduling Diagram of Client Data Collection . 12 3.4.3 The Configuration
12、File Description of Client . 13 3.4.4 Detailed Description of Some Class . 14 3.5 Server-side Data Collection Design . 17 3.5.1 Summary Class Diagram of Server Data Collection . 17 3.5.2 Scheduling Diagram of Server Data Collection. 18 3.5.3 The Configuration File Description of Server . 19 3.5.4 De
13、tailed Description of SomeClass . 20 3.6 Data Integration Design . 24 3.6.1 Summary Class Diagram of Data Integration . 25 3.6.2 Scheduling Diagram of Data Integration . 25 3.6.3 The Configuration File Description of Data Integration. 26 3.6.4 Detailed Description of Some Class . 27 3.7 Database Tab
14、le Design . 29 Chapter IV. The System Operation . 32 4.1 Into The System. 32 4.2 To Create Table. 32 4.3 Data Simulation Source . 33 4.4 Collection Server . 34 4.5 Acquisition Client . 36 4.6 Data Integration . 37 ChapterIIV. Concluding Remarks . 39 Thanks. 40 References . 41 通用数据采集整合系统 DCIS 1 第一章 引
15、言 随着信息技术的飞速发展，海量数据随之产生，带来的结果就是知识大爆炸， 如何从 大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识 是当今社会信息技术发展的一大主旋律 2。因此 数据 采集整合 技术应运而生，它在很大程度上帮助人们从海量的数据中快速的获得最大的价值。 本系统就是通过数据的采集和对数据库中的整合来完成了从海量数据中提取有用成分的过程，其作为电信计费系统的一个子系统，帮助计费系统完成了用户跟计费有关的相关信息。 因此这个后台服务的模块可 以帮助我们完成对数据的完美处理，帮助计费系统成功的对数据进行操作，得出用户的费用信息
16、，完成计费功能。 通用数据采集整合系统 DCIS 2 第二章 系统总体设计 2.1 系统需求 2.1.1 功能需求 本系统是 电信 计费系统 的一个后台服务系统 ， 在计费过程中 要想对用户进行准确的收费 ， 首先必须能够获得用户使用开 相关业务的记录，正是为了这个需求，所以本系统在功能上应该具备数据采集的功能。 由于采集记录之后，存储到数据库中的记录都是流水帐的数据。所以一旦用户量很大，操做频繁，将会产生大量的数据，不便于将来生成用户的月账单和相 关使用情况进行统计，因此还需要有个整合数据的功能 3。 2.1.2 环境需求 开发工具： Eclipse， SQL Server2005 开发语言
17、 : JAVA 开发平台 : Linux 测试工具： Eclipse 2.2 总体设计 项目开发采用 三 层框架来对项目进行从内到外的开发，框架的主体部分则是三个，分别为表示层， 业务 逻辑层，数据存储层 。 主要模块分为 客户端数据采集 模块 ，服务器端数据采集 模块 ，数据整合 模块 ，如图 2-1 所示 ： 通用数据采集整合系统 DCIS 3 图 2-1： DCIS 三大模块 2.2.1 总体模块图 如图 2-2 所示： 图 2-2: DCIS 总体模块图 2.2.2 总体流程图 如图 2-3 所示： DataCollectorSys_Client DataCollectorSys_Server DataIntegration DataSimulate DCIS NetctossAllInOne
