双活数据中心面面观.doc

1、键入文字 双活数据中心方案（华为） 目录 1 灾备建设的挑战与趋势 3 2 华为双活数据中心解决方案介绍 .4 2.1 双活数据中心架构 4 2.2 双活数据中心部署 .7 2.3 客户价值 .9 3 双活数据中心关键技术 .10 3.1 存储层双活 10 3.1.1 AA 双活架构 10 3.1.2 高可靠技术 13 3.1.3 高性能技术 .25 3.1.4 高可扩展性 30 3.2 计算层双活 .34 3.3 应用层双活 35 3.3.1 B/S 应用双活 .35 3.3.2 C/S 应用双活 .37 3.3.3 数据库双活 .39 3.4.网络架构 45 3.4.1 网络架构 45 3

2、.4.2 跨数据中心网络 .45 3.4.3 业务访问网络架构 .46 3.4.4 二层互联 .51 3.4.5 负载均衡技术 .52 3.5 传输层技术 58 3.6 安全层技术 59 4 可视化容灾管理 .64 4.1 总体部署 64 4.2 应用支持矩阵 65 4.3 SAN 双活场景 .66 4.3.1 SAN 双活场景 66 4.3.2 SAN 双活+ 快照场景 68 5. 故障场景 .71 5.1 GSLB 故障 .72 5.2 SLB 故障 .73 5.3Web 服务器故障 .75 5.4 应用服务器故障 77 5.5 Oracle RAC 故障 79 5.6 IBM DB2 故

3、障 80 键入文字 5.7 阵列单控故障 .81 5.8 广域网链路故障 83 5.9 站点间链路故障 84 5.10 站点故障 85 键入文字 1 灾备建设的挑战与趋势 随着信息化技术的飞速发展，信息系统在各种行业的关键业务中扮演着越来越重要的 角色。在通讯、金融、医疗、电子商务、物流、政府等领域，信息系统业务中断会导致巨 大经济损失、影响品牌形象并可能导致重要数据丢失。因此，保证业务连续性是信息系统 建设的关键。 目前，各行业普遍通过建设灾备中心来提高关键应用的业务连续性，在灾备中心保存 生产数据副本。传统灾备部署方式为一个生产中心对应一个灾备中心，灾备中心平时不对 外提供业务访问。一旦生

4、产中心发生灾难，业务瘫痪，无法短时间恢复时，灾备中心才应 需启动以提供业务访问。这种灾备系统面临以下挑战： 当生产中心遭遇供电故障、火灾、洪灾、地震等灾难时，需要手动将业务切换到 灾备中心，有可能需要专业的恢复手段和长时间调试，业务中断时间长，无法保 证业务连续运行。 灾备中心不能对外提供服务，常年处于闲置状态，资源利用率低。 华为针对客户提高资源利用率，在两个数据中心间实现负载均衡和灾难自动切换的需求， 推出了端到端双活数据中心解决方案。 键入文字 2 华为双活数据中心解决方案介绍 双活数据中心解决方案指两个数据中心均处于运行状态，可以同时承担生产业务，提 高数据中心的整体服务能力和系统资源

5、利用率。 业界目前有两种双活形态：AP 双活和 AA 双活。 AP 双活通过将业务分类，部分业务以数据中心 A 为主，数据中心 B 为热备，而部 分业务则以数据中心 B 为主，数据中心 B 为热备，以达到近似双活的效果。 AA 双活则是真正的双活，同一个双活 LUN 的所有 I/O 路径均可同时访问，业务负 载均衡，故障时可无缝切换。 华为双活数据中心解决方案为 AA 双活架构，以业界领先的 OceanStor V3 HyperMetro 功能为基础，与 Web、数据库集群、负载均衡、传输设备和网络等组件相结合，为客户提 供 100km 内的端到端双活数据中心解决方案，确保业务系统发生设备故障

6、、甚至单数据中 心故障时，业务无感知，自动切换，实现 RPO (Recovery Point Objective) =0， RTO (Recovery Time Objective) =0 (RTO 与应用系统及部署方式有关） 。 2.1 双活数据中心架构 端到端双活数据中心解决方案分为 6 层：存储层、计算层、应用层、网络层、传输层 和安全层。逻辑架构图如图 2-1 所示。 图 2-1 逻辑架构图 键入文字 端到端双活数据中心解决方案，为了实现更好的可靠性、性能和负载均衡，针对每一层进 行一些设计和优化， 表 2-1 列举了一部分设计要点。 表 2-1 6 层方案设计要点 存储层 免网关双活

7、架构。 通过 OceanStor V3 阵列的 HyperMetro 功能，实现存储层的双活， 减少方案故障点，避免存储虚拟化网关的 I/O 性能瓶颈。 通过 OceanStor V3 阵列的 SmartVirtualization 功能，接管现网异 构存，储，将不同的存储资源的统一池化。 通过 FastWrite 功能，将标准的 1 个写 I/O 2 次往返优化为 1 次往 返， 提升写性能。 通过自适应网络功能，提升链路性能不均匀时的双活性能。 网络层 采用华为 CloudEngine 系列数据中心交换机的 EVN 技术。 通过 EVN 打通大二层网络，实现 2 层网络协议在 3 层网络上

8、运行， 保障了业务的跨数据中心互联互通。 通过多种互联优化技术，实现广播域隔离，达到数据中心间东西向 流量优化。 通过双活网关和路由注入等访问优化功能，优化数据中心间南北向 流量优化。 安全层 通过华为 USG 系列提供数据中心的 FW、IDS 等安全防护功能。 传输加密 通过数据中心间光传输加密技术，支持 AES-256 等多种加密算法， 预防数据中心间数据窃听。 计算层 采用华为 FusionSphere、VMware 等虚拟化平台提供跨数据中心大集 群技 术，满足企业多种关键业务双活的需求。 键入文字 应用层 web 和 App 应用基于虚拟化集群提供更好的可靠性，通过负载均衡 实现业务

9、自动切换。 数据库基于双活 LUN 实现跨站点集群双活部署。传输层 采用华为 OptiX OSN 系列作为双活数据中心的波分设备。 通过线路冗余，板卡冗余，设备冗余三种 1+1 保护方案，满足多级 可靠性要求。 通过色散补偿等调优手段，确保传输层延时最小。 键入文字 2.2 双活数据中心部署 整体的方案物理组网图如图 2-2 所示。 图 2-2 物理组网图 键入文字 各方案模块部署 如表 2-2 所示: 存储层 跨 DC 的两套华为 OceanStor V3 系列存储阵列组成一个存储集群。 支持其中一台异构接管第三方存储，使用接管后的 LUN 与另一台 V3 上的 LUN 构建双活 LUN。

10、网络层 采用华为 CloudEngine 系列数据中心交换机作为核心交换机。 数据中心内部采用典型二层或三层物理架构组网，启用 EVN 形成二层通道，由 核心交换机通过 CSS+链路聚合接入波分设备。 每个站点部署一台独立的 GSLB 实现站点间负载均衡。 每个站点部署 2 台 SLB，组成 HA 集群，实现应用层服务器的负载均衡。 应用层 Web、App 层可以部署在虚拟机或者物理机上，DC 内的多台服务器 组成集群，或者跨 DC 的多台服务器组成集群。 数据库建议物理机部署，跨数据中心组成一个集群。 计算层 使用华为 FusionSphere、VMware 等虚拟化平台，跨数据中心组成虚拟

11、主机集群。 模块 部署方式 传输层 采用华为 OptiX OSN 系列 DWDM，每个站点部署 2 套波分设备。 如若不能设备级冗余，则需要至少每套波分设备配置 2 块传输板卡，实现板卡 冗余。 将多路 FC 信号和 IP 信号复用到光纤链路上传输，每套波分设备通过两对裸光 纤互联。 安全层 采用华为 USG 系列防火墙，每个站点部署 2 台防火墙，接入核心交换机。 在华为 OptiX OSN 系列 DWDM 启用传输加密功能。 仲裁 选择一个第三方站点部署仲裁设备和软件。 软件支持安装在物理服务器或虚拟机上。 仲裁服务器使用 IP 网络连接到双活数据中心的两套存储阵列。 说明 GSLB 是英

12、文 Global Server Load Balance 的缩写，意思是全局负载均衡。作用：实现在广 键入文字 域网 (包括互联网）上不同地域的服务器间的流量调配，保证使用最佳的服务器服务离自 己最近的客户，从而确保访问质量。 SLB 是 Server Load Balancing ,意思是服务器负载均衡。SLB 可以看作 HSRP (热备份路由 器协议）的扩展，实现多个服务器之间的负载均衡。 2.3 客户价值 华为充分利用其宽产品线的优势，通过多产品的紧耦合，为客户提供端到端双活数据 中心解决方案，也是业界唯一可提供端到端双活解决方案的厂家。6 层 Active-Active 可 靠性设计，

13、业务负载均衡，应用零中断，数据零丢失，实现了业界最高等级的业务连续性 保障。 华为双活数据中心解决方案有以下特点： AA 双活架构，数据零丢失，业务零中断（RPO=0，RTO =0)。 两个数据中心同时提供业务，充分利用灾备资源。 支持异构存储，保护已有设备投资。 方案扩展灵活，容灾可视化管理。 华为 6 层双活数据中心解决方案能给客户带来以下价值： 端到端双活设计：华为提供端到端双活方案设计，快速上线业务。 真 AA 精简双活，业务 7X24 小时持续运行：去存储网关精简双活架构，方案故障 点少，系统可靠性更高，提供站点同时读写的 Acive-Active 双活能力。 双活 I/O 优化，性

14、能高：去存储网关的双活架构，I/O 处理路径最短。同时，通 过锁预取优化，存储协议优化和地域优化访问等极大提升双活业务性能。 利旧现有设备，保护现有投资：存储支持异构接管第三方存储，计算层支持 FusionSphere 等虚拟化平台利旧已有服务器，保护现有投资。 键入文字 3 双活数据中心关键技术 以下是华为双活数据中心解决方案的关键技术： 存储层：通过 HyperMetro 实现存储层的双活 计算层：通过 FusionSphere、VMware 等虚拟化技术，提供虚拟机 HA 特性，故障 时自动恢复。 应用层：通过应用集群和数据库集群技术实现双活。 网络层：通过 DWDM、EVN 等二层互联

15、技术，实现低时延、高可靠的二层网络互联； 通过网络设备的双活网关、RHI 等路径优化技术，以及全局负载均衡器、 服务器负载均衡器实现双活就近接入或高可用网络切换。 传输层：通过设备冗余及板卡冗余构建可靠的双活传输网络。 安全层：通过防火墙和安全策略规划和设计保证访问安全，通过传输层加密特性， 保证跨数据中心数据传输安全。 华为双活数据中心解决方案在以上 6 个层次上进行联动及联合，为客户提供端到端的双活 方案。 3.1 存储层双活 华为双活数据中心解决方案存储层基于 OceanStor V3 融合存储系统的 HyperMetro 特 性实现。HyperMetro 采用 AA 双活架构将两套存储

16、阵列组成跨站点集群，实现数据实时镜 像，具有高可靠、高性能和高扩展的特点。本章节将对 HyperMetro 特性的主要技术原理和 特点进行介绍。 3.1.1 AA 双活架构 3.1.1.1 并行访问 HyperMetro 特性基于两套存储阵列实现 AA(Active-Active)双活，两端阵列的双活 LUN 数据实时同步，且双端能够同时处理应用服务器的 I/O 读写请求，面向应用服务器提 供无差异的 AA 并行访问能力。当任何一台磁盘阵列故障时，业务自动无缝切换到对端存储 键入文字 访问，业务访问不中断。相较于 AP 方案，AA 双活方案可充分利用计算资源，有效减少阵 列间通信，缩短 I/O

17、 路径，从而获得更高的访问性能和更快的故障切换速度。 图 3-1 展示 了几种双活方案的交互流程。 图 3-1 存储双活架构 数据中心 A 数据中心 B 3.1.1.2 免网关设计 HyperMetro 双活架构无需额外部署虚拟化网关设备，直接使用两套存储阵列组成跨站 点集群系统。最大支持 32 个存储控制器，即两套 16 控存储阵列组建双活关系。 本方案架构精简、与存储增值特性良好兼容，对客户的价值如下： 减少网关故障点，提高方案可靠性。 I/O 响应速度更快，无需经过存储网关转发，减少网关转发 I/O 时延。 双活可以兼容存储阵列已有特性，与 OceanStor V3 融合存储系统的其它

18、Smart 系 列和 Hyper 系列特性组合，可为客户提供多种数据保护和灾备解决方案。 显著降低双活组网复杂度，便于维护。 3.1.3.3 I/O 访问路径 HyperMetro 在应用主机侧，通过 UltraPath 主机多路径软件，将两台存储阵列上的双活成 员 LUN 聚合为一个双活 LUN,以多路径 Vdisk 方式对应用程序提供 I/O 读写能力。应用程序 通过访问 VDISK 时，Ultrapath 通过选路模式，选择最佳的访问路径，将 I/O 请求下发到 存储阵列。 存储阵列的 LUN 空间上接收到 I/O 请求后，对于读 I/O 请求，直接读本地 Cache 空间，将 键入文字

19、 数据返回应用程序；对于写 I/O 请求，首先会进行并行访问互斥（参见 3.1.3.4 分布式锁 技术)，获取写权限后，将 I/O 请求数据同时写本地双活成员 LUN Cache 以及对端的双活成 员 LUN Cache，双端写成功后返回应用程序写完成（参见 3.1.2.2 跨站点数据实时镜像） 。 图 3-2 双活 IO 路径 3.1.1.4 存储层组网 两套双活存储阵列间通信支持 FC 或 IP 链路，推荐使用 FC 链路。另外，存储阵列和仲 裁服务器之间的链路采用更易于获取的 IP 链路。 图 3-3 为 4 控制器的双活组网情况下，FC 交换机端口占用情况。 图 3-3 阵列双活方案组

20、网 键入文字 3.1.2 高可靠技术 HyperMetro 在继承 OceanStor 存储系统高可靠设计的基础上，全新设计了一些解决方 案级高可靠技术，最大化提高了存储双活方案的可靠性。 本章节将从以几个方面介绍 HyperMetro 的高可靠技术： 跨站点集群 跨站点数据实时镜像 跨站点坏块修复 仲裁防脑裂 高可靠链路设计 3.1.2.1 跨站点集群 两套独立的存储阵列组建成跨站点集群，并以跨站点集群为核心，提供双活存储架构， 向应用服务器提供无差异的并行访问，处理应用服务器的 i/o 请求。双活跨站点集群配置 过程极为简单，只需要将两套存储阵列配置成双活域，即可完成跨站点集群配置。跨站点

21、 集群系统使用阵列间 FC 或 IP 链路作为通信链路，完成全局节点视图建立和状态监控。在 全局节点视图基础上，跨站点集群系统提供分布式互斥等能力，支持 AA 双活架构。下图 为双活跨站点集群示意图。 图 3-4 双活跨站点集群 键入文字 集群节点具有并发访问能力。当出现单个控制器故障时，其承接的业务将被切换到本地集 群的其它工作控制器；本地集群工作控制器全故障时，则切换至跨站点集群另一个本地集 群。 图 3-5 双活访问与切换 在跨站点集群基础上，HyperMetro 以双活 Pair 或双活一致性组为单位提供服务和进行状 态管理。两套存储阵列上的双活成员 LUN 组成一个虚拟双活 LUN，

22、通过实时镜像技术保持 两个数据中心的双活成员 LUN 的数据实时一致。一致性组是多个双活 pair 的集合，可以确 保单个存储系统内，主机在跨多个 LUN 进行写操作时数据的一致性。一致性组进行分裂、 同步等操作时，一致性组的所有双活 pair 保持步调一致。当遇到链路故障时，一致性组的 所有成员对会一起进入异常断开状态。当故障排除后，所有成员同时进行数据的同步，从 而保证从站点灾备阵列数据的可用性。 键入文字 3.1.2.2 跨站点数据实时镜像 HyperMetro 通过实时镜像功能，保证两个站点存储阵列之间数据的实时同步。主机写操作 通过实时镜像技术同时写入两个数据中心的双活成员 LUN，

23、保持数据实时一致。具体的写 I/O 流程 如图 3-6 所示。 图 3-6 跨站点镜像 假如数据中心 A 阵列收到写 I/O，镜像处理流程如下： 1.申请写权限和记录写日志：数据中心 A 阵列收到主机写请求，先申请双活 Pair 的写权限。 获得写权限后，双活 Pair 将该请求记录写日志。日志中只记录地址信息，不记录具体的写 数据内容。该日志采用具有掉电保护能力的内存空间记录以获得良好的性能。 2.执行双写：将该请求拷贝两份分别写入本地 LUN 和远端 LUN 的 Cache。 3.双写结果处理：等待两端 LUN 的写处理结果都返回。 4.响应主机：双活 Pair 返回写 I/O 操作完成。

24、 HyperMetro 支持断点续传功能。当某些故障场景（如单套存储故障）导致双活 Pair 关系异常断开时，HyperMetro 通过记录日志的方式，记录主机新产生的写 I/O。当故障恢 复时，HyperMetro 将自动恢复双活 Pair 关系，并且将所记录的增量数据自动同步到远端， 无需全量同步所有数据，整个过程对主机“透明”不会影响主机业务。 双活 Pair 运行状态和主机访问状态关系 见表 3-1 键入文字 表 3-1 双活主机访问状态表 双活 Pair 运行状态 主机访问状态 状态描述 暂停 读写 不可读写 用户暂停双活镜像关 系 待同步 读写 不可读写 阵列间链路故障或 I/O

25、错误导致双活镜 像关系断开同步中 读写 不可读写 恢复双活镜像关系时 全量/增量同步双端 差异数据正常 读写 读写 两端 LUN 都进入 双活 AA 实时镜像关 系强制启动 读写 不可读写 用户进行了强制将双 活从 LUN 升级为主 LUN 的操作 双活 Pair 运行状态和镜像状态关系 见表 3-2 表 3-2 双活镜像状态表 双活 Pair 运行状态 镜像状态 主 LUN 从 LUN 暂停/待同步/强制启动 不镜像，记录差异日志 不涉及 同步中 镜像写，后台复制差异 不涉及 正常 镜像写 镜像写 3.1.2.3 跨站点坏块修复 硬盘在使用过程中可能因为掉电等异常情况出现坏块，如果是可修复错

26、误但是本端已 经无法修复时，HyperMetro 将自动从远端阵列获取数据，修复本地数据盘的坏块，进一步 提高系统的可靠性。 图 3-7 跨站点数据修复 键入文字 数据中心 A 阵列出现坏块时，从该阵列读 I/O 处理流程如下： 步骤 1主机下发读 I/O。 步骤 2 读本地 LUN。 步骤 3 读取到坏块后，如果为可修复错误，执行步骤 4，否则执行 1、2 后流程结束。 A.重定向远端读。 B.远端读返回。 步骤 4 将读数据返回主机，确保主机响应的快速返回。 步骤 5 根据远端的读数据，进行本地写入修复 步骤 6 写修复结果返回。3.1.2.4 仲裁防脑裂 3.1.2.4 仲裁防脑裂 当提

27、供双活 LUN 的两套阵列之间的链路故障时，阵列已经无法实时镜像同步，此时只能 由其中一套阵列继续提供服务。为了保证数据一致性，HyperMetro 通过仲裁机制决定由哪 套存储继续提供服务。 HyperMetro 支持按双活 Pair 或双活一致性组为单位进行仲裁。当多个双活 Pair 提供的 业务相互依赖时，用户需要把这些双活 Pair 配置为一个双活一致性组。仲裁完成后，一个 键入文字 双活一致性组只会在其中一套存储阵列继续提供服务。例如，Oracle 数据库的数据文件、 日志文件可能分别存放在不同的 LUN 上，访问 Oracle 数据库的应用系统存放在另一些 LUN 上，相互之间存在

28、依赖关系。配置双活时，建议数据 LUN、日志 LUN 和应用 LUN 分别配置 双活 pair，并且加入同一个一致性组。 HyperMetro 提供了两种仲裁模式： 静态优先级模式 仲裁服务器模式 配置双活 Pair 前，需要配置双活域，双活域为逻辑概念，包括需要创建双活关系的两套存 储阵列和仲裁服务器。每个双活 Pair 创建时均要选择双活域，每个双活域只能同时应用一 种仲裁模式。 仲裁服务器模式比静态优级模式具备更高的可靠性，可保证在各种单点故障场景下， 业务连续运行。因此，华为双活方案推荐采用仲裁服务器模式。 静态优先级模式 静态优先级模式主要应用在无第三方仲裁服务器的场景。用户可以按双

29、活 Pair 或一致 性组为单位，设置其中一端阵列为优先站点，另一端为非优先站点。 如图 3-8 所示，不需 要额外部署仲裁服务器。 该模式下，阵列间心跳中断时，优先站点仲裁胜利。 当发生阵列间链路故障，或者非优先站点故障时，优先站点上的 LUN 继续提供服务，非优 先站点的 LUN 停止提供服务。 当优先站点阵列故障时，非优先站点不能自动接管双活业务，双活业务停止，需要人工强 制启动非优先站点服务 图 3-8 静态优先级部署 键入文字 该模式的缺点是：两阵列之间的心跳丢失时，可能是站点间链路丢失或其中一个阵列故障， 系统无法区分这两种情况。 表 3-3 为静态优先级模式下的仲裁策略。 表 3

30、-3 静态优先级模式仲裁示意图 编号 示意图 仲裁结果 1 故障类型：链路故障 仲裁结果：H1 继续运行业务，H2 停止业务 2 故障类型：非优先故障 仲裁结果：H1 继续运行业务，H2 失效 3 故障类型：优先故障 仲裁结果：H1 失效；H2 停止业务，需要人工启动 仲裁服务器模式 使用独立的物理服务器或者虚拟机作为仲裁设备，仲裁服务器建议部署在第三方站点。 这样可以避免单数据中心整体发生灾难时，仲裁设备也同时故障。 如图 3-9 所示。 图 3-9 仲裁服务器部署 键入文字 仲裁服务器模式下，当存储阵列间心跳中断时，两端阵列向仲裁服务器发起仲裁请求， 由仲裁服务器综合判断哪端获胜。仲裁获胜

31、的一方继续提供服务，另一方停止服务。 仲裁服务器模式下如果有优先获得仲裁的要求，也可以配置站点优先级。优先阵列端 具有仲裁获胜的优先权，心跳中断但其它正常时，优先阵列将获得仲裁胜利。仲裁过程如 图 3-10 所示： 图 3-10 仲裁机制 1数据中心之间的链路断开时，跨站点阵列集群分裂为两个小集群。 2. 小集群分别抢占仲裁，优先阵列将优先抢占仲裁，抢占成功的小集群“获胜” ，将继续 对外提供服务，为应用提供存储访问空间；抢占失败的小集群则停止对外 服务。 3.中间链路恢复时，两个子集群检测到中间链路恢复正常，经过握手通信将两个小集群自 动组成一个跨站点集群，双活关系恢复，以 Active-A

32、ctive 模式提供服务。 表 3-4 列出了仲裁服务器模式下，各种故障场景下双活业务表现。 表 3-4 各故障场景仲裁示意图 1 故障类型：仲裁失效 仲裁结果：H1、H2 继续运行业务 键入文字 2 故障类型：一套阵列与仲裁之间链路故障仲裁结果：H1、H2 继续运行业务 3 故障类型：一套阵列失效 仲裁结果：H1 失效，H2 继续运行业务 4 故障类型：阵列间链路中断仲裁结果：H2 失效，H1 继续运行业务 5 故障类型：一套阵列与仲裁同时失效仲裁结果：H1 失效，H2 停止业务 6 故障类型：一套阵列与对端、仲裁的链路同时中断仲裁结果：H1 停止业务， H2 继续运行业务 7 故障类型：一

33、套阵列失效，且对端与仲裁链路中断仲裁结果：H1 失效，H2 停止业务 8 故障类型：仲裁失效，且阵列间链路中断仲裁结果：H1 与 H2 均停止业务 9 故障类型：仲裁失效，且其与一套阵列链路中断仲裁结果：H1、H2 继续运 行业务 说明 H1 和 H2 表示组成双活 HyperMetro LUN 的两个阵列，C 表示对应的仲裁服务器 强制启动 某些特定的多重故障情况下，仲裁机制优先保证数据的一致性，可能会将存活的双活 成员 LUN 都停止主机访问。例如静态优先级模式下优先站点故障等场景，存活的双活成员 LUN 会被停止主机访问，用户或售后工程师可根据故障情况选择人工强制启动业务，快速 恢复业务

34、。 强制启动后，被强制启动端会升级为双活数据同步源端，强制启动端的双活成员 LUN 具有最新数据。链路恢复后，系统主动停止对端双活成员 LUN 主机访问。发起数据同步时， 将以强制启动端的双活成员 LUN 数据覆盖对端。该过程中只会同步增量差异数据。 注意 键入文字 执行强制启动前，需要充分考虑双主风险，应在执行前确认两个数据中心的 LUN 状态 和业务状态，确保对端存储已经停止工作。 3.1.2.5 高可靠链路设计 HyperMetro 阵列间组网支持 FC 或 IP 网络，可以根据用户的实际网络条件配置网络。 支持使用阵列直连、通过 FC 光纤交换机连接、通过 IP 交换机连接等。为了提供

35、更好的双 活性能，推荐采用 FC 组网。 以跨数据中心 2 节点+2 节点双活组网为例，建议每个控制器节点都与对端阵列建立 2 条阵列间镜像链路，并对两条链路的交换机进行隔离，获得最高的链路可靠性。 图 3-11 以跨数据中心 4 控双活组网示例 上图中，为保证双活性能，HyperMetro 对站点间双活链路的网络要求如下： 误码率25km 或裸光纤数量小于 4 对，建议使用 OTN 波分设备来构 建两数据中心的同城网络。 以太网交换机和 FC 交换机同时连接到 OTN 波分设备，两个数据中心的 OTN 波分设备直接级 联，需要 2 对裸光纤； 图 3-33 链路距离25km 或裸光纤数量4

36、对 3.4.3 业务访问网络架构 3.4.3.1 B/S 应用网络架构 图 3-34 B/S 应用网络架构图 键入文字 B/S 应用多为 Web 应用，对外提供域名访问。采用 Web-App-DB 三层结构，Web/App 采用虚 拟机部署，虚拟机只在 DC 内部署集群，DB 采用物理机部署，跨 DC 部署 Oracle RAC 集群。 Web/App 层提供双活访问，DB 仅对 App/Web 提供服务。 Web/App 层业务访问网络设计：采用 3 层物理网络架构的，在汇聚交换机配置 Web/App 层 网关；米用 2 层物理网络架构的，在核心交换机配置 Web/App 层网关；两站点的网

37、关相互 独立，不同网段，对外发布网段路由。 DB 层业务访问网络设计：采用 3 层物理网络架构的，在汇聚交换机配置 DB 层网关；采用 2 层物理网络架构的，在核心交换机配置 DB 层网关；两站点之间需要二层互联，同一网段， 每个站点部署双活网关，向 DC 内发布数据库的主机路由，本主机路由不会向广域网发布。 3.4.3.2 C/S 应用网络架构 图 3-35 C/S 应用网络架构图 键入文字 C/S 应用多为中间件应用，对外提供 IP 访问，无需 GSLB。采用 App-DB 两层结构， App 采 用虚拟机部署、虚拟机采用集群部署方式，DB 采用物理机部署。App 层在单个数据中心运 行，

38、DB 仅对 App 提供服务。 DB 层业务访问网络设计：采用 3 层物理网络架构的，在汇聚交换机配置 DB 层网关；采用 2 层物理网络架构的，在核心交换机配置 DB 层网关；两站点之间需要二层互联，同一网段， 每个站点部署双活网关，向 DC 内发布数据库的主机路由，本主机路由不会向广域网发布。 App 层业务访问网络设计：采用 3 层物理网络架构的，在汇聚交换机配置 App 层网关；采 用 2 层物理网络架构的，在核心交换机配置 App 层网关；两站点之间需要二层互联，同一 网段。网关设计有两种方式： 1.集中网关，App 所在的 DC 的网关配置主 VRRP 网关，发布主路由，另一侧站点

39、网关配置 为备网关，发布备路由。如果 VM 跨数据中心迁移，主备网关不会跟随切换，存在跨数据中 心访问的情况。 2. 双活网关，每个站点部署双活网关，网关动态感知 App 主机的位置，根据 App 主机所在 的 DC 位置，由所在的双活网关向 DC 内、广域网发布主机路由，优化访问路径。 集中网关 C/S 应用通常集中在单数据中心运行，在单数据中心发布网段路由，具备跨 DC 迁移的能力。 图 3-36 C/S 应用路径-迁移前 键入文字 虚拟机迁移后，集中网关不会跟随切换，存在跨数据中心访问的情况。但对外路由保持稳 定，访问路径清晰，排障、运维较简单。 图 3-37 C/S 应用路径-迁移后

40、双活网关 C/S 应用可随意在数据中心间迁移调度，根据 VM 所在位置，从数据中心就近的网关发布主 键入文字 机路由。 图 3-38 C/S 应用路径优化 -迁移前 虚拟机迁移后，发布 ARP 广播，双活网关发送 ARP 单播请求，探测、判断虚拟机所在位置。 探测成功后，在新的网关位置对外发布虚拟机的主机路由，原有主机路由超时撤销。 图 3-39 C/S 应用路径优化-迁移后 键入文字 3.4.4 二层互联 需要二层互联的网络有： DB 层业务网络和心跳网络； 虚拟机业务网络和业务管理网络； C/S 应用的 App 层业务网络和心跳网络。 以下介绍典型的 2 种二层双活互联技术。 普通以太互联

41、设计 图 3-40 中大型 DC 以太互联网络架构 互联接入设计：每个站点部署互联汇聚交换机，站点内的网关交换机通过 CSS+链路聚合接 入该互联汇聚交换机，互联汇聚交换机通过 CSS+链路聚合接入波分设备，CSS+ 链路聚合 保证整网无二层环路。同时在汇聚互联交换机配置二层风暴抑制。 互联波分设计：每个站点部署波分设备，波分设备通过两条裸光纤互联； 小型数据中心互联，无需汇聚交换机，直接将接入交换机与核心交换机机连接，再通过波 分互联，在核心交换机配置二层风暴抑制。 图 3-41 中大型 DC EVN 互联网络架构 华为 EVN 互联设计 键入文字 互联接入设计：每个站点部署互联汇聚交换机，

42、站点内的网关交换机通过 CSS+链路聚合接 入该互联汇聚交换机，互联汇聚交换机通过 CSS+链路聚合接入波分设备， 互联汇聚交换机运行 EVN PE，EVN PE 间形成 EVN 二层通道。DC 间三层互 通，二层域完全隔离 ARP 广播、未知单播限制在本 DC； 互联波分设计：每个站点部署波分设备，波分设备通过两条裸光纤互联； 中小型数据中心的互联设计，无需汇聚交换机，直接将接入交换机与核心交换机相连，再 通过波分互联，其它保持一致。 3.4.5 负载均衡技术 3.4.5.1 站点间负载均衡 域名访问：B/S 业务一般对外提供域名访问。 一个域名对应两个业务 IP 地址，分别部署在两个数据中

43、心。通过 GSLB 或 DNS 实现站点间 的访问负载均衡。 图 3-42 站点间负载均衡原理（域名访问) 键入文字 GSLB 可以采用专用的 F5 GTM。如果业务量小，也可以采用 windows 自带的 DNS 服务器， 实现简单负载均衡（轮询） 。GSLB 跨站点负载均衡策略通常有两种： 基于 Local DNS 请求所在的地理位置。 基于 GSLB 与 Local DNS 的 RTT 最小。 IP 地址访问 C/S 业务一般对外提供 IP 访问。如果 C/S 应用不支持分布式部署。因为主路由只能在 一个数据中心发布，所以一个应用的主机只能在单数据中心运行，但支持故障自动切换至 备站点或

44、跨 DC 虚拟机迁移。 负载均衡策略：将不同应用分别部署到 2 个数据中心运行。 图 3-43 站点间负载均衡原理（IP 访问，C/S 应用不支持分布式部署） 键入文字 如果 C/S 应用支持分布式部署，在两数据中心运行（对外用不同 IP 地址） 。负载均衡策略： 手动配置客户端，每个客户端配置多个服务器端 IP 或只配置对应的服务器 IP，将不同客户 负载均衡到两个 DC。 图 3-44 站点间负载均衡原理（IP 访问，C/S 应用支持分布式部署） 键入文字 3.4.5.2 站点内负载均衡 站点内的负载均衡使用 SLB 实现，本方案中 SLB 使用 F5 LTM 部署，支持 http/htt

45、ps、 FTP、Diameter、SMPP、SIP 协议等大量应用层协议的负载均衡健康检测。 SLB 对外提 供的业务接口（包括 IP 地址和端口） ，接收来自客户端的业务请求。 网络拓扑 双活数据中心方案中，SLB 推荐使用三层旁挂方式组网。 三层旁挂方式，采用将 SLB 旁挂在核心交换机，将业务服务器接到接入交换机上的方式， 适合大规模组网的应用场景。组网如下图所示： 图 3-45 SLB 三层旁挂 键入文字 一个站点部署两台 SLB，组成双机热备集群，两站点各部署一个 SLB 集群，当主用 SLB 故 障时会自动切换到备用 SLB 上。 HTTP 协议负载均衡 图 3-46 HTTP 负

46、载均衡原理图 LB 实现 HTTP 负载均衡原理如上图所示。SLB 对外提供业务访问的 IP 地址为浮动 IP，所有 Web 客户端访问浮动 IP。 SLB 基于 HTTP 业务，提供多种调度算法： 最少连接数：最少连接数调度算法将客户端请求分发至拥有最少连接数的真实服 务器。 轮询：调度算法在资源池中的真实服务器之间进行轮询分发调度。 加权最少连接数：基于最少连接数调度算法的基础上考虑性能权重，将更多的连 键入文字 接请求分发到连接数少的真实服务器。 加权轮询：基于轮询调度算法，但是将会给权重大的服务器分发更多的连接请求。 SLB 基于 HTTP 业务，提供多种健康检测策略，健康检查用于确保

47、远程服务器的可 用性，SLB 支持基于 Ping、UDP、TCP、HTTP 和 SHELL 脚本的健康检查。健康检查 失 败的节点将不再接受新的请求，直至它重新被健康检查为可用状态。 键入文字 3.5 传输层技术 华为 OSN 系列波分产品采用了先进的低时延处理技术，针对时延问题进行了优化，非常符 合对对延时要求较高的数据中心互联应用。 华为采用了先进的 GMP 封装技术，具有超低的电层处理时延。 华为 OTN 产品可以根据需要采用不同的 FEC 方式，以减少 FEC 引入的延时。在满 足传输需求的情况下，可以关闭 FEC 或者采用延时较小的 FEC 方式，最大化的缩 小系统延时。 针对系统色

48、散补偿引入的延时，华为通过一下方式来减小时延： -华为可以提供基于 FBG (Fiber Bragg Grating)的色散补偿方案，与传统的色散 补偿光纤相比，FBG 本身基本不引入延时（小于 0.1us)，具有非常大的低时延优 势。 -针对需要使用传统色散光纤补偿的场合，华为提供一系列模块化的色散补偿模 块，可以针对需要进行精确的色散补偿，尽量减少色散补偿光纤的长度。 -华为 40G/100G 系统，采用先进的 DSP 算法，无需色散补偿，彻底消除色散补偿 光纤对延时的影响。同时华为率先支持 100G 二代软判技术，延时得到大幅下降。 针对光纤路径延时，华为提供 OTN 延时测量功能，当存

49、在多个光纤路径可以选择 时，可以选择最优的传输路径。 键入文字 3.6 安全层技术 双活数据中心除传统的数据中心内的安全威胁外，还有跨数据中心数据安全的考虑。华为 针对数据中心和跨数据中心传输有全面的安全解决方案。 例如，华为针对数据中心网络分区，提供了以下多种安全方案： 互联网接入区安全方案 外联网接入安全方案 内网接入区安全方案 数据中心互联区安全方案 数据中心服务区安全方案 网管维护区安全方案 本文中，针对双活数据中心的业务特点，安全问题主要关注两个双活数据中心解决方案组 件：防火墙和波分传输设备。华为波分传输设备可通过加解密传输板卡解决数据传输中的 安全问题，该加解密为硬件加解密，性能高，几乎对传输时延没有影响。下面我们重点介 绍以下几种重要的访问安全方案设计。 传输层低时延加密方案 加密网络的构成如下图所示。客户业务在本端客户侧