1、校园数据中心高可靠性网络的研究与实现 沈立强 吴海燕 戚丽 （清华大学计算机与信息管理中心，北京 100084） mail: 摘要： 校园数据中心是数字校园的核心，无单点故障的、高可用性网络的建设至关重要。本文以清华大学校园数据中心的网络建设为实例，探讨如何设计数据中心的 网络设计方案 以 保证网络的 高 可靠性，做到任何 单个 交换机 或单条链路的故障都 不会 影响网络的连通性，更不会 导致整个网络 的 瘫痪，从根本上解决 数据中心 面临的风险。 关键词： 校园数据中心 高可靠性网络 单 点故障 AFT VRRP the research and implementation of a hi
2、gh available network of university data center Shen Liqiang Wu Haiyan Qi Li (Tsinghua University, Beijing 100084) mail: Abstract： University data center (UDC) is the heart of digital university, so the building of single failure free, high available network is of the top importance. Based on Tsinghu
3、a University UDC network building practice, this paper discusses how to design UDCs network building plan to achieve networks high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this
4、way, totally reduce UDCs network risk. keyword： university data center high available network single failure AFT VRRP 1. 前言 清华大学在教育信息化建设方面经过十余年艰苦努力，尤其在启动“ 211 工程”之后，逐步建成了综合信息服务系统、办公自动化系统、综合教务系统、网络教学系统、财务工资管理系统和开放实验室综合管理系统等多个应用系统，数据中心为上述应用系统提供了完善的网络和运行环境，并承担了所有应用系统的运行和维护任务。目前数据中心内有各类服务器 80 余台，几乎所有应用系
5、统的 关键数据都存放在数据中心，数据中心与各个业务部门之间的保持着频繁的重要通讯。 为了保证数据中心的高可用性，达到 7*24 小时不间断服务的目标，一个全冗余、无单点故障的网络就成了数据中心的基础。 为实现路由冗余，可以采用 VRRP 协议；为实现交换机的冗余，可以采用 SPT 协议；为实现链路冗余，可采用 link-aggregation 技术等。 本文以清华大学数据中心的网络建设为实例，探讨如何设计数据中心的 网络设计方案 以 保证网络的 高 可靠性，做到任何 单个 交换机 或单条链路的故障都 不会 影响网络的连通性，更不会 导致整个网络 的 瘫痪，从 根本上解决 数据中心 面临的风险。
6、 2. 清华大学校园数据中心结构 目前，清华大学校园数据中心的交换机有华为 Quidway S8016、神州数码 DCRS7504、Extreme Alpine 3808、 Extreme Summit 48， Quidway S3050， S3026 等。通过 采用硬件上的冗余，包括交换机的冗余、交换机之间链路的冗余和服务器网卡的冗余 等，基本 实现 了网络的高可靠性，消除或部分消除了网络的单点故障 。 数据中心的网络拓朴结构如图 1 所示。 图 1 数据中心网络 拓扑 结构 3. 清华大学校园数据中心网络可靠性分析 一个高可靠的网络应该是全冗余、无任何单点故障的。下面我们根据图 1 的网络
7、 拓扑 ，从网络设备、通信链路两方面来分析清华大学校园数据中心网络的单点故障情况。 3.1 网络设备的可靠性分析 (1) 中心路由交换机 中心路由交换机采用的是华为公司高端千兆路由交换机 Quidway S8016。 S8016 的主控板、交换网板 、路由处理系统、电源系统等所有关键部件都采用了冗余热备份设计，其 路由转发处理引擎 采用分布式结构 ，因此， S8016 本身不存在单点故障。 数据中心采用了两台三层交换机作为 中心路由交换机，同时，通过在两台中心路由交换机上运行 VRRP（虚拟冗余路由协议）协议来为服务器提供一个唯一的默认网关。当任何一台中心路由交换机发生故障时，通过 VRRP
8、协议，另一台中心路由交换机立即接管所有的工作，同时更新路由表，并通过动态路由协议通知校园网端的路由器更新相应的路由表。 我们先介绍 VRRP 相关的部分术语： VRRP 路由器 任何运行 VRRP 协议的路由器或设备； 虚拟路由器 一个 运行 VRRP 协议的 逻辑路由器 ，用来给一个网络的主机提供路由服务 。一个虚拟路由器 包括一个虚拟路由标识符 VRID 和一 组 IP 地址 ，在物理上至少由两台或两台以上的 VRRP 路由器构成 ； 主虚拟路由器 给虚拟路由器提供 IP 包转发和进行相应 ARP 应答的 VRRP 路由器； 备份虚拟路由器 当主虚拟路由器失败时，能自动代替主虚拟路由器工作
9、的VRRP 路由器； 虚 拟 路 由 器 的 MAC 地址 虚拟路由器的 MAC 地址格式为：00-00-5E-00-01-VRID，其中： 00-00-5E 是 生产 厂家的唯一标识 号 ； 00-01 是一个常量，该地址块保留给 VRRP 协议； VRID 是 VRRP 虚拟路由器标识。在一个网络中最多 可以有 255 个虚拟路由器。 在清华 大学 校园数据中心有多个子网接入校园网，图 1 中仅画出了两个子网 Net1和 Net2。图 1 中 SW1 到 RTA 的实线表示 RTA 作为 Net1 的主虚拟路由器， SW4 到 RTB的实线表示 RTB 作为 Net2 的主虚拟路由器； S
10、W3 到 RTA 的虚线表示 RTA 作为 Net2的备份虚拟路由器， SW2 到 RTB 的虚线表示 RTB 作为 Net1 的备份虚拟路由器。这样，一方面既实现 了 冗余的路由备份，另一方面又实现了负载 的 分担，避免了所有的负载集中 于 一个 VRRP 路由器。 下面我们以 Net1 为例来分析一下 VRRP 的工作过程。简化后的网络 拓扑 见图 2，图2 中的 IP 地址配置仅为示例，不代表目前清华 大学 校园数据中心实际使用的 IP 地址。 图 2 Net1的 VRRP协议配置 通过在 RTA 和 RTB 上启用 VRRP 协议，使 RTA 和 RTB 都成为 VRRP 路由器，正常
11、情况下 RTA和 RTB通过 Net1 定期交换 Hello 报文以确定主虚拟路由器和备份虚拟路由器。一旦备份虚拟路由器在规定的时间内没有从 Net1 收到主虚拟路由器 发送的 Hello报文，将自动 变 为主虚拟 路由器，接管原主虚拟路由器的所有工作。这个时间很短，一般小于 3 秒，因此，用户基本上感觉不到该切换。当然，在切换过程中可能会发生短时间内网络路由不正确和少量 IP 报文丢失， 通过 TCP 的重传机制将保证端到端数据的正确性。 当 Net1 中的主机要向 Net1 以外的网络发送 IP 报文时，先进行 ARP 广播，请求网关（ 10.0.1.1）的 MAC 地址。 RTA 和 R
12、TB 都收到了该请求，但只有主虚拟路由器响应该 ARP 请求，并以虚拟路由器 MAC 地址 00-00-5E-00-01-11 进行应答。主机将 IP 报文以 00-00-5E-00-01-11 为目的 MAC 地址封装在以太网的帧中进行发送，主虚拟路由器接收该帧并基于 IP 进行报文转发。 这样，就通过 VRRP 协议实现了对中心路由交换机的动态冗余备份。 (2) 接入交换机 为了消除由接入交换机引起的单点故障，必须设置冗余的交换机。我们可以将两个交换机级联（或堆叠）在一起，从逻辑上组成一个交换机。为提高级联的可靠性，可采用端口聚合的方式进行双链路级联。对于 Extreme 的交换机，还可以
13、用 Dual-home 技术进行双链路级联。 然后从每个物理交换机分别连接到不同的中心路由交换机上，同时，服务器利用AFT 技 术通过两块网卡分别连接到不同的接入交换机。这样，当某一接入交换机发生故障时， 如果有必要的话， 服务器 会 自动切换到备用网卡，从而连到另一个接入交换机，VRRP 虚拟路由器根据当前的状态，还有可能发生主备虚拟路由器的切换，当然，这个切换对服务器是透明的。 3.2 链路的可靠性分析 (1) 从中心路由交换机到校园网的出口链路 任何一条出口链路出现故障时，相应的中心路由交换机通过 动态路由 协议 更新 路由表，将默认的出口路由指向另外一台中心路由交换机，然后经另一个出口
14、到校园网。由于数据包回来的路由也发生了变化，因此要求校园网端也运行 动态路由协议，实现动态路由调整。 (2) 两个中心路由交换机之间的路由链路 链路发生故障时，将导致 Net1 和 Net2 的互访要经过校园网端的路由器。由于两台中心路由交换机都支持端口聚合功能，因此，可在两台中心路由交换机之间建立多条链路，通过 link-aggregation 将多个端口聚合为一个逻辑端口。聚合端口通过流量配置算法支持端口流量自动均衡保护，使所属物理通道流量基本均衡；通过聚合端口发送的报文会从该聚合端口中任意一个且只有一个物理链路上发送，物理端口上的调度策略保证业务质量和报文顺序。当聚合端口中一条或 多条物
15、理链路故障时，能自动将流量转移到其他链路上去。当端口重新恢复后，流量自动重新分配。 (3) 从接入交换机到中心路由交换机的链路 从接入交换机到中心路由交换机的链路发生故障时，根据 VRRP 虚拟路由器的状态，有可能发生 VRRP 主备虚拟路由器的切换。不过，该切换对服务器是透明的。 为了增强该链路的可靠性，可采用端口聚合的方式通过双链路将接入交换机上联到中心路由交换机。对于 Extreme 的 Summit48 交换机，还可以采用 Dual-home 技术进行双链路上联。 (4) 从服务器到接入交换机的链路 链路故障或网 卡故障都将导致服务器不能连到相应的接入交换机。服务器可采用双网卡接到不同
16、的接入交换机。 在服务器上安装 2 块网卡，分别连接 到 2 台不同的接入 交换机，利用 AFT（ Adapter Fault Tolerance） 技术实现网卡间的容错，当主网卡或该网卡 到 所连的交换机 链路 发生故障时，服务器会立刻将该网卡上的流量转移到备份网卡上，这一过程不超过 2 秒。 4. 结束语 通过对路由器、交换机以及通信链路的冗余设置，配合 VRRP、 AFT、 Link-Aggregation、SPT 等技术，消除网络中的单点故障，最终建立一个安全、可靠、高效 的校园数据中心网络系统。由于全部采用冗余设置，因此投资成本较高，对于条件不允许的校园数据中心，可以对部分重要的服务器 所在 的网络采用全冗余的设计，而其它服务器还是采用单链路、单交换机的接入方式，同时，按 N： 1 方式准备 若干 备用交换机和备用连接线，一旦交换机或链路发生故障，就可以立即将备用设备替换上去，从而在最短时间内恢复网络的正常。 参考文献 1 “ VRRP， Virtual Router Redundancy Protocol”， May, 2000, Anritsu Company。 2 庞鑫，王力。“ 如何提高第三层网络交换的可靠性”。 电子科技 ， 2002 年 15 期 。 3 薛伟莲。“建设容错校园骨干网”。苏州大学学报工学版，第 22 卷第 1 期。
