基于UNIX平台DCC数据转换系统-毕业论文.doc

1、毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统基于 UNIX 平台 DCC 数据转换系统(新疆区分行 DCC 数据转换系统)Transform System For DCC Based On UNIX论文作者: 厦门大学软件学院软件工程专业公司指导人员: 职称:学院指导老师: 职称: 摘要本文从项目概述、数据转换总体设计、数据转换技术实现三个方面论述了中国建设银行新疆区分行 DCC 数据转换系统的开发流程。以本人所从事的主要模块贷款模块的开发经历为主要线索，将这三个部分统一为一个有机整体，并尽量化繁为简，将原先设计文档中较为繁复和艰深的文字内容以简洁和多样的图片形

2、式展现出来，力求做到言简意赅,一目了然。关键词数据转换 DCC 贷款模块毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统目 录引 言 .4第 1 章 项 目 概 述 .51.1 项 目 背 景 .51.2 项 目 目 标 .51.3 项 目 内 容 .51.4 项 目 计 划 .61.5 参 考 资 料 .8第 2 章 数 据 转 换 总 体 设 计 .92.1 数 据 转 换 范 围 .92.2 数 据 转 换 内 容 分 析 .92.2.1 数 据 流 分 析 .92.2.2 数 据 差 异 分 析 .102.2.3 分 系 统 差 异 分 析 .112.2.4

3、 分 系 统 差 异 分 析 举 例 贷 款 业 务 .112.2.5 Mapping 分 析 .122.2.5.1 mapping 分 析 方 法 .122.2.5.2 mapping 文 档 格 式 .122.2.5.3 mapping 文 档 举 例 贷 款 主 档 .122.2.6 数 据 清 理 .142.2.7 数 据 补 录 .142.2.7.1 数 据 补 录 举 例 1 贷 款 已 补 录 查 询 模 块 .142.2.7.2 数 据 补 录 举 例 2 贷 款 帐 户 关 联 .152.2.8 数 据 提 取 .192.2.8.1 数 据 集 定 义 .192.2.8.2

4、数 据 集 采 集 流 程 举 例 .192.2.9 数 据 转 换 .202.2.9.1 数 据 转 换 的 流 程 .202.2.9.2 数 据 转 换 的 处 理 模 式 .202.2.9.3 数 据 转 换 举 例 贷 款 转 换 .202.2.10 参 数 转 换 .212.3 数 据 转 换 逻 辑 架 构 .21毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统2.3.1 逻 辑 架 构 举 例 帐 户 信 息 转 换 系 统 .222.4 数 据 转 换 的 功 能 构 成 .232.5 部 分 模 块 设 计 .242.5.1 数 据 清 理 子 系

5、 统 .242.5.2 数 据 补 录 子 系 统 .242.5.3 数 据 导 入 子 系 统 .242.5.4 转 换 数 据 中 心 子 系 统 .252.5.5 整 体 数 据 检 核 子 系 统 .25第 3 章 数 据 转 换 技 术 实 现 .263.1 设 计 目 标 .263.2 系 统 架 构 .263.3 开 发 、 测 试 、 转 换 环 境 .263.4 数 据 库 设 计 .273.4.1 中 间 数 据 库 分 类 .273.4.2 中 间 数 据 库 表 的 设 计 和 说 明 .273.4.3 部 分 中 间 数 据 库 .283.4.4 中 间 数 据 库

6、举 例 1 贷 款 主 档 .293.4.5 中 间 数 据 库 举 例 2 客 户 额 度 资 料 主 档 .293.5 关 键 技 术 .303.5.1 采 用 交 易 驱 动 设 计 .303.5.2 共 享 内 存 技 术 .303.5.3 数 据 迭 代 技 术 .303.6 性 能 控 制 .303.7 库 表 间 检 查 举 例 贷 款 主 档 横 向 检 核 .31第 4 章 结 论 .34致 谢 辞 .35毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统4引 言今年四月初，我进入厦门东南融通系统工程有限公司完成本科毕业设计。按照公司安排，我加入了新

7、疆区分行 DCC 数据转换项目组，半日之间,从祖国东南端的厦门飞到了西北角的乌鲁木齐，行程数千公里，进行中国建设银行新疆自治区区分行的 DCC 数据转换项目的开发。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统5第 1 章 项 目 概 述1.1 项 目 背 景2002 年 3 月总行组织进行“加快科技创新和产品开发”的专题调研工作，结合建行的实际情况，对包括数据集中在内的科技发展策略进行了研究和论证。调研报告认为“应继续坚持总行科技规划中关于全行数据集中的规划方向，同时鉴于形势的严峻性和时间的紧迫性，建议适度调整数据集中实施步骤，加快数据集中建设步伐” ，建议“建

8、立区域中心，分两个阶段完成全行数据集中工作”。四大国有商业银行目前均在进行数据集中的规划和实施。其中，工商走在了其他银行的前面，基于没有数据集中就没有风险的集中控制，核心竞争力的形成就没有基础的认识，工商银行坚定不移地走数据集中的道路，虽然集中才刚刚完成，但市场竞争方面的优势已经显现出来。 “数据集中”已经成为中国银行业发展的大趋势。随着加入 WTO，我国金融业面临的竞争形势更加严峻。一级法人治理结构和我们面临的竞争形势要求建行进一步提高风险控制能力、客户服务水平、产品开发和市场响应速度，进一步提高盈利和降低成本，从而提高我行的核心竞争力，所有这些都需要改善目前的技术支撑环境。此时加快数据集中

9、建设步伐，尽快启动“中国建设银行数据集中工程项目” ，对建行的发展而言有着重要的战略意义。1.2 项 目 目 标在 DCC 系统中按要求建立完整和准确的各类业务和帐务数据，以满足新疆建行业务在 DCC 系统中的正常运营，其主要工作是实现新疆区分行现行业务处理系统涵盖业务数据向 DCC 业务处理系统平稳的过渡，同时确保周边系统正常运行。1.3 项 目 内 容 根据 DCC 系统所涵盖的业务范围及 DCC 数据字典确定新疆建行数据转换范围毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统6 根据 DCC 系统关于业务数据完整性、真实性、一致性的要求，对新疆建行现有系统的数

10、据进行相应的清理 对新疆建行现有系统数据结构与 DCC 数据字典进行对比分析，确定数据转换规则及方案 编写数据清理、补录、转换程序并进行测试 利用新疆建行现有系统真实业务数据进行多轮数据转换测试及数据转换演练，并确定数据切换方案及切换流程 在系统上线日实施数据切换1.4 项 目 计 划实际工作中每个阶段并不是完全串行的，许多工作是可以并行交叉的。1) 差异分析和 Mapping 整理：毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统7通过新旧系统数据结构、数据类型、参数定义的对比分析，形成一系列描述新旧系统联系与差异的对照表，完成新旧系统差异分析和数据迁移工作的总体

11、方案设计。2) 数据转换概要设计、详细设计：完成数据迁移概要设计、各子模块的详细设计。根据业务的需求、前一阶段整理的MAPPING对照表，确定转换规则及方法，确定各部分数据的转移处理程序，制定数据的迁移方案。此阶段需完成：清理、数据补录、数据转换详细设计、数据转换、数据返还处理、数据检核的详细设计。在进行设计和开发之前，除了正确性和安全性之外，需要兼顾效率。3) 数据清理和补录：数据的技术清理和补录的程序开发测试必须先于数据转换程序，尽早地为数据转换作准备。数据转换程序是基于清理过的现有业务数据汇总补录数据进行转换。4) 开发与测试：根据数据转换详细设计方案，完成数据转换、清理、补录、检核、迁

12、移、返还处理等各子模块的代码编写及测试工作。组成如下：5) 数据转换和检核：毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统8DCC项目组对业务数据进行转换，并用检核软件对转换后数据进行检查，在总行北中心的支持下，进行Loading测试，并与周边系统(外围系统)进行联合测试，为下一阶段的整体测试作好数据准备工作。并根据转换、检核的情况编制系统数据转换切换方案。数据检核的内容主要如下：数据常规检查：通查所有栏位，进行字段级的检查。如判断开户日是否大于转换日，利率是否在理论范围等等。数据横向检查：根据已知的DCC数据之间的关联关系，检查同一数据表内不同字段之间以及不同数

13、据表内字段之间的关联关系是否正确，条件检查关联栏数据是否有缺失，关联关系错误等。如判断定期存款的开户日、到期日与存器是否一致等等。6) 整体测试：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统整体测试。整体测试的主要内容如下： 正确性验证 关键字段的校验 样本数据核对 帐务数据核对 T1、T2 报表核对 转换问题的跟踪和解决7) 模拟演练：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统模拟演练。8) 切换上线：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统切换上线。9) 运行阶段：在系统切换上线后，DCC数据转换项目组在总行DCC项目组的配合下关注DC

14、C系统上线后的运行情况，跟踪、分析、并解决所出现的问题。进行数据转换文档整理，将数据转换的一些转换规则和转换方法进行全面的回顾和整理，这将为日后的故障处理、运行维护和二次开发奠定良好的基础，也为了今后更好地开展工作。1.5 参 考 资 料数据集中系统应用推广基础原理_技术总体架构毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统9数据集中系统应用推广基础原理_业务总体架构数据集中系统应用推广基础原理_业务概揽及分布数据集中系统应用推广实施参考_数据转换业务指导数据集中系统应用推广实施参考_数据转换技术实践毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转

15、 换 系 统10第 2 章 数 据 转 换 总 体 设 计2.1 数 据 转 换 范 围DCC系统是一个集中国建设银行所有柜面核心业务，包括对公会计，储蓄，公积金，信用卡，外汇会计和储蓄等一体的本外币一体化的综合柜员制下的庞大复杂系统。根据DCC的业务分布，分析现有系统的帐务组织、数据信息，确定工作范围如下：业 务 范 围 转 换 内 容 备 注人民币对公 对 公 活 期 存 款 、 对 公 定 期 存 款 、 贷 款人民币储蓄 公用信息、储蓄活期存款、储蓄定期存款、零整存款银行卡卡信息、活期存款（卡帐） 、定 期 存 款 （ 保 证 金 ）综合柜员系统 会计、结算、参数结算票据、内部帐、总帐、参数（机构、操作员等分行级参数）对公客户信息 对公客户信息、客户额度CIF 集中签约库 储蓄客户信息、银行卡客户信息国债系统 客户信息、国债定期、债券信息 单 机 版外币储蓄(FENS) 公用信息、客户信息、活期存款、定期存款、零整存款，总帐（内部帐）总 行 统 一 组织 转 换外汇会计(FENS) 公用信息、客户信息、活期存款、定期存款、贷款、结算、总帐（内部帐）总 行 统 一 组织 转 换