西南基于基础设施外包的同城双中心运行管理模 .doc

1、1西南证券生产系统同城双中心解决模式证券交易是一种实时性要求很高的金融交易业务，随着交易、管理等技术系统的集中，由此而带来的系统运行风险也高度集中。一旦中心机房发生重大故障和灾难，可能导致公司业务系统的中断，造成重要数据的丢失和破坏，损失不可估量，后果不堪设想。建设备份中心是应对中心机房突发灾难的最有效办法。2011年 4 月发布的 证券期货经营机构信息系统备份能力标准对备份中心建设提出了明确的指标。因此，证券经营机构必须建设并不断完善备份系统，确保重要信息系统的数据安全和关键业务可持续服务，提高抵御灾难的能力，减少灾难造成的损失。备份中心一般由机房基础设施、备份系统、网络设备、运维人员、启用

2、机制等几部分组成。其核心是备份系统，在中心机房运行的核心业务系统，在备份中心都应有备份系统，以保证业务连续性。西南证券根据灾难风险事件发生的实际特点和行业实际运作过程中异地备份中心投资相对较大、管理复杂、效果难以把握等因素，参考上海证券交易所专家组提出的“优先建设同城备份中心” 建议，决定采用同城双中心模式进行备份中心建设和运行管理模式探索。2(一 ) 同城双中心的技术实现1.建设目标西南证券同城双中心建设以实现双中心“建得好，用得顺，顶得上”为目标。“建得好” ：建设方式上能够经济、快捷地获得同城双中心所需的机房等基础设施，将人、财、物等投资重点放在业务应用系统的建设和运维效率的提高上。当主

3、中心发生重大技术故障（如主中心的热、温备系统均失效等）或灾难后，核心业务系统能快速恢复，保证业务连续性。“用得顺” ：为了有效地防范和降低系统风险，同步建设双中心运维监控系统，梳理运维体制，完善运维制度，规范运维流程，做到平时训练到位，切换时真正能用。“顶得上” ：通过对西南证券历史业务数据分析，在风险可控的情况下，公司可以承受 RPO10 秒，且越小越好；RTO15 分钟，且越小越好。在交易期间发生灾难事件需要切换到同城备份中心时，一般会产生业务堆积，因此备份中心核心业务系统生产功能不减少，性能不能降低。为实现上述目标，同城双中心技术系统的设计要求如下：双中心系统（包括网络系统、应用系统等）

4、可完全独立运作，双中心可轮换运行；双中心切换耗时尽可能短，切换操作尽可能简单易行；同时考虑系统的安全性高，系统间的相关性小，可维护性好。32.数据复制同城双中心应采用成熟、可靠性高的数据复制技术，能够以合适的数据容错技术来实现现实的容灾需求，优先保障业务连续，尽量减少数据丢失。数据库日志复制技术是针对数据库提供的基于逻辑的数据复制方式。通过直接捕获源数据库日志，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。目标端数据库在复制过程中处于在线可用状态。数据库日志复制技术适用于西南证券交易系统所用的 Oracle 10g 版本，对主系统 CPU 占用率较小，对网络带宽要

5、求较低，可灵活设置复制的时间间隔（最短为 1 秒） ，数据延迟一般可控制在 3-5秒。数据复制路径如图所示。采用数据库日志复制技术进行数据复制过程中，因故障中断会有少量数据丢失，西南证券设计建设了旁路捡漏系统找回丢失的数据，并通过业务流程及时处理这部分数据以保障客户利益。43.系统构架为达到上述建设要求，系统架构按下图所示方式设计：主备中心采用多层次网络布局，分为核心数据网段（网段 1） 、核心通讯中间件组接入网段（网段 2）和外部接口网段（网段 3） ，最大限度减少彼此相关性，提高网络安全性；网段 1 布置数据库服务器和应用服务器，网段 2 部署核心通讯中间件，网段 3 主要部署集中交易的其

6、他相关系统, 包括：申报、回报、三方存管、帐户管理、文件服务器、沪深报盘系统等；核心通讯中间件组是客户和管理接入的联接枢纽，所有业务由它们进行转发，其组名和 IP 地址在两个中心相同，但只在一个中心的路由（主中心）有效； 主中心与营业部、银行、交易所、登记结算公司以及其它外5部机构的连接采用电信线路，备中心与营业部、银行、交易所、登记结算公司以及其它外部机构的连接采用联通线路；两中心分别配置沪深单、双向卫星各一套，与地面线路形成备份； 主备中心的 ORACLE 数据库通过数据库日志复制软件实现数据同步；集中交易应用系统采用 1：1 模式部署，备中心的应用服务器组保持运行状态，以最大限度减少切换

7、启用时间。4.切换原理双中心的核心通讯中间件组是外围接入的联接枢纽，通讯中间件组由多个通讯中间件组成，各通讯中间件负载均衡，对外提供统一的服务。通讯中间件组具有中断重连机制，所有业务请求均通过核心通讯中间件组传递到后台的应用服务器和数据库；主备中心的核心通讯中间件组IP地址相同，启用电信主中心时，其核心通讯中间件组必须有效，而备中心的必须无效；使用备中心时，正好相反。通过控制核心通讯中间件组的启用就可以完成主备系统的切换。(二 ) 同城双中心的建设、运营西南证券同城双中心解决模式不单纯是一个技术方案，其内容覆盖了建设、运营和切换全过程，包含同城双中心的建设方式、技术架构、监控、运维、决策模式、

8、切换等。具体内容如下：目标 模式内涵 简述 优点建设 建设模式 基础设施、运维外包 快捷经济、增减灵活6架构模式 系统同构、能力相当 操作一致、轮换运行监控模式 分层集中、统一处置 全面及时、准确标准运营运维模式 统一排班、定期轮换 常态运维、保障有效切换模式 一键切换、安全快捷 操作简捷、切换迅速切换决策模式 充分授权、班组执行 责任明确、决策迅速1.机房基础设施、运维外包西南证券充分利用本地运营商托管机房的资源优势，采取租用中国电信和联通 IDC 机房的方式，比较经济、快捷地获得了良好的主备运行中心机房基础环境和电信级专业化的运维保障服务，从而可以让我们更加专注于将人、财、物等投资重点放在

9、业务应用系统的建设、切换过程的优化和运维效率的提高上。两个中心相距 10 公里，中心之间通过联通和电信的两条裸光纤连接，机房示意图如下。2.双中心同构，处理能力 1：1 在系统部署上，借助上交所专家组的论证意见，西南证券采取了“处理能力 1:1，主机部署 2+2”的方案。主备中心系统同构且部署7相同，主机品牌和处理能力一致，均配置交易、查询服务器各一套。在运维管理上，人员、设备和运行等级一致。两个中心的网络、设备、系统参数和运行模式基本一致，极大地方便了双中心的操作和管理。3.创新快速简单的切换技术西南证券通过利用 IP SLA（Service Level Agreements）协议监控核心通

10、讯中间件组的启用来完成主备系统的切换。在日常运行中，配置主中心核心通讯中间件组的路由优先级高于备中心核心通讯中间件组，使主中心核心通讯中间件组路由有效，同时启用 IP SLA 协议来监控它的网络状况；切换时，通过网络命令来“DOWN”或“UP”核心通讯中间件组连接的交换机端口来改变它的网络状况。当 IP SLA 监测到主中心核心通讯中间件组的网络端口处于“DOWN”状态时就取消它的路由，核心通讯中间件的有效路由就收敛到备中心, 实现主备切换。西南证券开发了主备中心切换平台、网络切换脚本和报盘机等启动脚本。主备中心控制切换过程，操作人员根据角色授权集中批量执行相应的命令脚本（如图） ，这种安全、

11、简捷的脚本切换方式称为“一键切换” 。84.建立充分授权的切换机制西南证券通过西南证券同城双中心运维管理办法将主备中心切换的决策权下放到技术部门，其他故障的处置分级授权到运维班组，并制定了不同故障场景的处置预案。主备中心切换分为正常轮换切换、特大故障和灾难应急切换。切换均由中心控制，耗时短、操作简单。正常轮换切换按照主备中心的定期轮换运行计划，通过主备中心切换平台切换主备系统，启动柜台报盘、银证转帐、启用单独线路银行 IP 切换、启动备中心的数据库复制软件。特大故障应急切换若主中心发生数据库热、温备系统、核心应用中间件全组、核心通讯中间件全组发生故障或核心网络系统中断等特大故障时，启动主备中心

12、应急切换流程，将生产系统切换到备份中心，保证生产系统继续运行。灾难应急切换当主中心机房或所在楼宇发生火灾等灾难事故，导致数据中心不可用时，启动主备中心应急切换流程，将生产系统切换到备份中心，保证生产系统继续运行。5.实现双中心常态运维在同城双中心建设和运行过程中，西南证券不断探索和完善系9统运维管理体系，创造了“四班三运转”模式。按照双运行中心标准，保持备份中心与主中心人员配置等同、管理统一、监控到位。在日常运行监控中，将主备中心监控人员全部统一排班，在主（白、晚班） 、备中心监控室各有独立的三个运行值班，公司总部监控室设有运行副班辅助运行。为了确保双中心的运维效果，公司发布了西南证券同城双中

13、心运维管理办法和相应的作业指导书。同时，公司还坚持持续优化应急预案和切换流程，保证切换时的有效响应，进一步提高安全运行能力。6.应用多层次集中监控西南证券采用多层次集中监控系统实现双中心各系统的有效监控和运维。在通信网络层面采用网管系统监控主备中心、内外联单位的网络联接状况；在硬件设备层面采用设备监控系统对服务器等重要设备的状况进行实时集中监控；在软件应用层面使用了集中交易运行监控系统，实现对银证平台、柜台报盘机、通讯中间件和应用服务器等关键环节的监控；并使用与运行监控系统联动的 ITSM系统，进行事件、任务、配置和知识库等管理。借助这些技术手段，运维人员能够全面、及时、准确地掌握系统的可用性和实时运行状况，也能够比较标准地按流程来执行操作，从而提高了系统运维的效率和 IT 服务的质量。10(三 ) 创新点西南证券利用生产系统同城双中心的建设机会，引进先进技术，重点研发科学设计主备系统的技术架构、备份机制和业务处理和运维流程，实现技术升级、系统换代和流程再造。1.IP SLA 应用利用 IP SLA 的监控功能，通过 “DOWN/UP”主中心核心通讯中间件组的交换机端口改变其网络状况以调整其路由优先级，实现核心通讯中间件组的有效路由在主备系统间的切换。这种方式操作简单、安全有效，网络路由收敛快，投入较低。