1、Xx 项目存储方案介绍I目录1. 现状综述 .42. 总体建设方案 .42.1. 建设原则和策略 .42.1.1. 建设原则 .42.1.2. 建设策略 .52.2. 建设目标 .72.2.1. 总体目标 .72.2.2. 分期目标 .72.3. 建设内容 .72.4. 总体设计方案 .83. 容灾的核心技术及选择 .93.1. 容灾系统衡量指标 .93.2. 容灾级别 .103.3. 常见容灾建设模式 .113.3.1. 同城容灾 .113.3.2. 异地容灾 .113.3.3. 两地三中心 .113.3.4. 双活数据中心 .113.4. 常用的数据复制技术 .123.4.1. 基于存储层
2、的容灾复制方案 .133.4.2. 基于主机数据复制技术的灾备方案 .193.4.3. 基于数据库的数据复制技术构建灾备方案 .203.5. 如何选择最优的容灾方案 .283.5.1. 数据容灾技术选择原理 .283.5.2. 数据容灾技术选择度量标准 .293.6. 本项目容灾模式及技术的选择 .293.6.1. 容灾模式选择 .293.6.2. 容灾中心选址 .303.6.3. 数据复制技术的选择 .324. 推荐方案概述 .334.1. 技术路线选择 .334.2. 总体方案架构 .334.3. 数据库容灾系统设计 .354.3.1. Golden Gate 技术原理 .364.3.2.
3、 各委办局和同城容灾中心之间的数据库复制 .374.3.3. 同城容灾中心和异地容灾中心之间的数据库复制 .404.4. 非结构化数据容灾系统设计 .404.4.1. 同城容灾中心和生产中心之间的数据容灾 .414.4.2. 同城容灾中心和远程容灾中心的数据容灾 .434.4.3. 应用级容灾几种实现方式 .444.5. 一体化集中备份系统 .45II4.6. 容灾网络建设方案设计 .464.6.1. 整体容灾网络架构设计 .464.6.2. 前端服务网络容灾方案 .474.6.3. 服务器数据网络容灾方案 .494.6.4. 存储网络容灾方案 .504.6.5. 本项目建议容灾网络方案 .5
4、15. 本项目灾备系统建设的几点建议 .525.1. 需要按照灾备要求梳理系统 .525.2. 解决好数据库系统数据复制 .525.3. “现实”的切换策略 .536. 软硬件设计 .546.1. 软硬件总体选型原则 .546.2. 同城容灾中心软硬件设计 .556.2.1. 一体化备份系统 .556.2.2. 数据库容灾系统 .566.2.3. 云计算平台容灾系统 .576.2.4. 同城数据存储容灾系统 .586.2.5. 机房改造系统 .586.2.6. 网络系统 .606.2.7. 安全系统 .606.2.8. 详细软硬件配置清单 .606.3. 远程容灾中心软硬件设计 .636.3.
5、1. 远程数据备份系统 .636.3.2. 远程数据库容灾系统 .646.3.3. 远程云计算平台容灾系统 .656.3.4. 远程数据存储容灾系统 .666.3.5. 网络系统 .666.3.6. 安全系统 .666.3.7. 详细软硬件配置清单 .667. 项目组织机构和人员培训 .687.1. 领导和管理机构 .687.2. 项目实施机构 .707.3. 运行维护机构 .707.4. 技术力量和人员配置 .717.5. 人员培训方案 .718. 项目实施进度 .728.1. 项目建设期 .728.2. 实施进度计划 .728.2.1. 同城容灾中心建设计划 .728.2.2. 异地容灾中
6、心建设计划 .739. 投资估算 .759.1. 投资估算的说明 .759.2. 投资估算 .759.3. 估算编制依据 .76III9.4. 资金来源与落实 .769.5. 投资估算明细表 .141.现状综述XX 市政府网站管理中心自成立之日起，就按照集中建设的原则完成了“XX 市电子政务外网统一平台示范工程项目”的建设工作，完成了 XX 市 124 家党政部门的接入工作，完成了在全市范围内只铺设一套网络基础设施的工作，实现了市及电子政务外网与省、国家政务外网之间的互联互通，目前共有服务器 500 多台，存储 40 多套，部署的虚拟服务器 300 多台。涵盖了 XX 市各委办局的大部分数据，
7、包括公安局、财政局、民政局、卫生局、发展改革委、外办/侨办等，并为他们提供了各种电子政务应用系统和业务数据，随着业务应用水平的不断提高，各局对网络办公和数据的依赖程度逐年增加，为保障各委办局业务数据的连续安全运行，迫切需要对他们的数据进行备份，但是采用传统的备份方式需要针对每一个应用配置不同的备份方法、策略及容灾设备，将导致投资浪费和管理成本增加，为解决数据备份问题我们计划引人两地三中心云灾备技术。具体分析，XX 市电子政务的业务类型众多、业务系统建设和运行的历史比较长，从系统结构和数据结构两方面来说，都是比较复杂的。从系统结构来说，既有单机运行的网站，也有 WEB、应用服务、数据库三层架构的
8、大型业务平台。从数据结构来说，既有结构化数据集中存储的资源库平台，所有关键数据统一存储在数据库集群中，也有非结构化数据如文件、图片等应用系统管理维护的资料数据。另外，XX 市电子政务各业务系统需要保护的数据类型复杂多样，既有各种数据库如 oracle，sqlserver 多种版本，mysql 等）数据，也有各种应用程序（网站类，OA 类，业务系统类等）各种文档（word，execle，txt 等）各种非结构化数据（关键视频，档案等） ，当然也需要对虚拟机镜像提供保护（VMWare 和 Cloudview 等） 。以上现状表明很难用一种灾备技术满足上述多种数据类型的容灾需求，结合应用和数据的关键
9、级别、现有业务系统状况分类进行设计，我们计划采用数据备份、存储层数据复制以及数据库层数据复制几种容灾技术构建两地三中心灾备方案。2.总体建设方案2.1.建设原则和策略2.1.1.建设原则5XX 市政务信息化容灾备份及安全系统建设是信息中心信息安全保障体系的重要组成部分，信息中心适应信息化发展趋势作出的一项重大战略部署，XX 政务容灾系统建设需要遵循以下建设原则：统筹规划原则。容灾备份系统建设，涉及技术面广，复杂程度高，投资巨大，因此我们必须牢固树立“一盘棋”思想，坚持统筹规划，抓紧资源整合，协调各方力量，着眼实际、着眼全局、着眼长远，切实以统筹的理念推进信息化容灾备份系统建设。循序渐进原则。信
10、息化容灾备份系统建设是一项系统工程，实施周期长，要本着循序渐进的原则，分步建设和实施。在建设之前应做好详细的规划设计，并按照规划的内容，分清主次，依次实施。全部建设完成后，还有定期组织演练，确保灾备系统能够正常工作。平战结合原则。灾难备份资源是为小概率事件准备的，平时处于备份、测试或者演练状态，设备闲置，因此我们可以在不影响灾难备份与恢复功能的前提下，本着平战结合的原则，充分利用数据灾备中心的各类资源，开展信息系统培训、开发等业务，真正让数据灾难备份中心的各类资源得到充分的利用和发挥作用。2.1.2.建设策略本项目建设策略上从过去注重单一部门、单一系统容灾问题的解决，向支撑全市电子政务系统安全
11、高效运行的转变；二是在建设方式上，从部门独立建设、自成体系，向跨部门跨区域的协同互动和资源共享转变；三是在系统模式上，从粗放离散的模式，向集约整合的模式转变，确保电子政务项目的可持续发展，符合电子政务项目建设“集约化、专业化、规模化”策略。2.1.2.1.集约化策略在关于加快推进国家电子政务外网建设工作的通知(发改高技2009988 号)文件之前，国家各部委应用系统采取垂直管理，各自独立的方式建设。一套灾备系统牵涉到的有基础设施建设、灾备设备资源以及经验丰富的运维人员，往往需要大量的资金投资。我市信息各委办局都有建设灾备系统需求如果都单独建设，将会是一笔巨大的投资，并且各个委办局都需要培养大量
12、相关的专业运维管理人员。如何更为集约化的建设灾备系统，如何更为简单的管理和维护复杂的灾备系统，是我们必须面对和解决的难题。目前，已有地税局、人社局、国土局、财政局、建委等部门提出了灾备建设需求。6从这些部门的灾备建设方案来看，普遍包括：服务器、存储设备、网络设备、安全设备、链路等内容，平均需要 1000 万左右的投资才能实现关键业务应用级容灾的目标。此外，异地容灾还需要租用机房、聘用运维人员、支付链路费用等。经初步估算，已经提出或具有潜在容灾备份需求的部门，若单独建设容灾系统，则最少需要 9000 万建设投资，灾备系统的运维费至少达到每年 1800 万。本项目建议为各委办局的多个业务系统建立集
13、中数据灾备中心，相比分别为各个业务系统建立独立的容灾系统，既节约 IT 设备资源，提高容灾资源利用率，又能大大减少后期的管理和运营成本。系统建设充分调研了 XX 市电子政务信息系统建设情况设计开放性、可扩展性的容灾策略，支持已有投资系统功能性能，有效的保障了系统的可持续发展。2.1.2.2.专业化策略XX 市电子政务的业务类型众多、业务系统建设和运行的历史比较长，从系统结构和数据结构两方面来说，都是比较复杂的。从系统结构来说，既有单机运行的网站，也有 WEB、应用服务、数据库三层架构的大型业务平台。从数据结构来说，既有结构化数据集中存储的资源库平台，所有关键数据统一存储在数据库集群中，也有非结
14、构化数据如文件、图片等应用系统管理维护的资料数据。全市电子政务各业务系统需要保护的数据类型复杂多样，既有各种数据库如Oracle、 SQL Server 多种版本、MySQL 等）数据，也有各种应用程序（网站类，OA类，业务系统类等）各种文档（Word、Execle 、TXT 等）各种非结构化数据（关键视频，档案等） ，当然也需要对虚拟机镜像提供保护（VMWare 和 Cloudview 等） 。本项目立足于 XX 市电子政务系统的容灾备份及安全建设，充分的调研了全市电子政务信息系统的建设和应用情况，从网络接入、系统业务功能及数据量、系统涉密情况、容灾策略需求、性能指标等多方面综合分析。力争满
15、足针对不同的性质的系统提出了数据级、应用级容灾策略，同时分析了不同策略的在线模式与离线模式、远程数据复制、同步与异步容灾、同城与异地等多种容灾方案，专业化的解决未来 XX 市电子政务信息系统的容灾备份需求。2.1.2.3.规模化策略本项目集约化建设的基础上实现规模化，项目建成之后将承载 XX 市 95%以上电子政务信息系统的容灾工作，解决我市政府各部门内部业务系统、跨区域纵向业务应7用、部门重点应该的容灾备份需求。容灾备份中心依托电子政务外网建设二期工程将完成全市行政区划内共有 15 个区市县（包括先导区） ，下辖 172 个街道（乡、镇） （这里包括个别区市县所管辖的乡镇级别的经济开发区）
16、、1512 个社区（村）的全域覆盖。在数据规模方面，容灾备份中心将解决包括国家重点民生工程在内的 1000 余个业务系统的容灾备份工作。2.2.建设目标2.2.1.总体目标XX 市政务信息化容灾备份及安全系统建设计划分成两个阶段，即同城灾备中心建设和异地灾备中心建设，最终建设成为两地三中心模式。其中以新建的 XX 市云计算中心作为各委办局业务系统的主数据中心，XX 市网站管理中心作为同城灾备中心，可以选用城市 A 或是城市 B 作为异地灾备中心。云计算中心作为主生产中心，负责日常的各委办局所有业务系统的运行。在灾难发生时，在同城容灾中心恢复各委办局关键业务的应用运行。在城市 A 异地灾备中心完
17、成各委办局关键数据的保护，在发生地区级（XX）的灾难时，保证各个业务系统的核心数据不丢失。2.2.2.分期目标一期目标：实现 xx 个委办局关键数据在同城容灾中心的集中备份，以及 xx 个关键业务在同城容灾中心的应用级容灾。二期目标：实现 xx 个委办局关键数据在远程容灾中心的集中备份，以及 xx 个核心业务在同城容灾中心的应用级容灾。2.3.建设内容一期建设内容： 完成云计算中心、同城灾备中心、异地灾备中心两地三中心容灾总体设计 完成关键技术方案验证、实施方案编制、实施路径设计。 完成容灾中心运行管理模式设计。8 建设同城应用级容灾中心二期建设内容： 优化调整新建云计算中心 建设城市 A 或
18、城市 B 异地数据级容灾中心2.4.总体设计方案根据各委办局的技术架构现状与策略制定，结合容灾技术的关键技术分析与最佳实践，制定如下总体容灾架构： 容灾模式为两地三中心灾备模式 容灾级别为数据库系统实现应用级别容灾，其他应用系统基于同城容灾中心实现应用级容灾，关键业务基于远程容灾中心实现应用级容灾 结构化数据复制采用支持异构平台的基于数据库层的数据复制技术，虚拟机镜像等这类关键非结构化数据复制采用基于存储层的数据复制技术 虚拟机之间的系统切换技术以自动切换方式为主，物理机之间以及物理机和虚拟机之间的系统切换以手工切换方式为主，并配合切换脚本减少系统切换时间 容灾网络，建议同城数据中心之间采用大
19、二层的存储网络架构，数据网络和存储网络的物理连接采用 DWDM 裸光纤高速网络连接，本地和异地数据中心之间采用 IP 网络连接，网络带宽要保证系统切换的顺畅和数据复制的带宽需求 前端（客户端）网络切换技术有手工切换、DNS 重定向和负载均衡器的健康路由注入几种，本方案建议根据实际情况选择以上切换技术的一种或几种 容灾系统和生产系统之间的配对关系为降级配对，就是容灾中心和生产中心之间的软、硬件配置不遵循 1:1 比例，容灾中心硬件配置的性能低于生产中心，容灾应用服务器以虚拟机平台为主，从而进一步提升灾备系统的投入产出比建成后的两地三中心结构拓扑图如下：93.容灾的核心技术及选择容灾系统是指在相隔
20、较远的异地，建立两套或多套功能相同的 IT 系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外(如火灾、地震等)停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个 IT 节点的影响，提供节点级别的系统恢复功能。3.1.容灾系统衡量指标衡量容灾系统的主要指标有 RPO（灾难发生时允许丢失的数据量） 、RTO（系统恢复的时间） 、容灾半径（生产系统和容灾系统之间的距离）以及 ROI(容灾系统的投入产出比) 。RPO 是指业务系统所允许的灾难过程中的最大数据丢失量（以时间来度量） ，这是一个灾备系统所选用的数据复制技术有密切关系的指标，用以衡量灾备方案的数据冗余备份能力。RTO 是指“将信息系统从灾难造成的故障或瘫痪状态恢复到可正常运行状态，并将其支持的业务功能从灾难造成的不正常状态恢复到可接受状态”所需时间，其中包
