1、数据中心数据中心网络建设方案网络建设方案目 录第一章 数据中心现状分析 .4第二章 数据中心网络技术分析 .42.1 路由与交换 .42.2 EOR 与 TOR.52.3 网络虚拟化 .52.3.1 网络多虚一技术 .52.3.2 网络一虚多技术 .72.4 VM 互访技术（VEPA） .72.5 虚拟机迁移网络技术 .11第三章 方案设计 .133.1 网络总体规划 .133.2 省级数据中心网络设计 .153.3 市级数据中心网络设计 .163.4 区县级数据中心网络设计 .173.5 省、市、区/县数据中心互联设计 .183.5.1 省、市数据中心互联 .183.5.2 市、区/县数据中
2、心互联 .193.5.3 数据中心安全解决方案 .19第四章 方案的新技术特点 .214.1 量身定制的数据中心网络平台 .214.1.1 最先进的万兆以太网技术 .214.1.2 硬件全线速处理技术 .224.1.3 Extreme Direct Attach 技术 .244.1.5 帮助虚机无缝迁移的 XNV 技术 .294.1.5 环保节能的网络建设 .334.2 最稳定可靠的网络平台 .344.2.1 独有的模块化操作系统设计 .344.2.2 超强的 QOS 服务质量保证 .354.3 先进的网络安全设计 .374.3.1 设备安全特性 .384.3.2 用户的安全接入 .394.3
3、.3 智能化的安全防御措施 .404.3.4 常用安全策略建议 .41附录 方案产品资料 .451. 核心交换机 BD 8800.452. SummitX670 系列产品 .493. 三层千兆交换机 Summit X460.614. 核心路由器 MP7500.695. 汇聚路由器 MP7200.756. 接入路由器 MP3840.817. 接入路由器 MP2824.858. MSG4000 综合安全网关 .90第一章 数据中心现状分析云计算数据中心相比较传统数据中心对网络的要求有以下变化：1、Server-Server 流量成为主流，而且要求二层流量为主。2、站点内部物理服务器和虚拟机数量增大
4、，导致二层拓扑变大。3、扩容、灾备和 VM 迁移要求数据中心多站点间大二层互通。4、数据中心多站点的选路问题受大二层互通影响更加复杂。5、iSCSI/FCoE 是数据中心以网络为核心演进的需求，也是不可或缺的一部分。第二章 数据中心网络技术分析2.1 路由与交换数据中心网络方面，关注的重点是数据中心内部服务器前后端网络，对于广泛意义上的数据中心，如园区网、广域网和接入网等内容，不做过多扩散。数据中心的网络以交换以太网为主，只有传统意义的汇聚层往上才是 IP 的天下。数据中心的以太网络会逐步扩大，IP 转发的层次也会被越推越高。数据中心网络从设计伊始，主要着眼点就是转发性能，因此基于 CPU/N
5、P转发的路由器自然会被基于 ASIC 转发的三层交换机所淘汰。传统的 Ethernet交换技术中，只有 MAC 一张表要维护，地址学习靠广播，没有什么太复杂的网络变化需要关注，所以速率可以很快。而在 IP 路由转发时，路由表、FIB 表、ARP 表一个都不能少，效率自然也低了很多。云计算数据中心对转发带宽的需求更是永无止境，因此会以部署核心-接入二层网络结构为主。层次越多，故障点越多、延迟越高、转发瓶颈也会越多。目前在一些 ISP（InternetService Provider）的二层结构大型数据中心里，由于传统的 STP 需要阻塞链路浪费带宽，而新的二层多路径 L2MP 技术还不够成熟，因
6、此会采用全三层 IP 转发来暂时作为过渡技术，如接入层与核心层之间跑OSPF 动态路由协议的方式。这样做的缺点显而易见，组网复杂，路由计算繁多，以后势必会被 Ethernet L2MP 技术所取代。新的二层多路径技术，不管是 TRILL 还是 SPB 都引入了二层 ISIS 控制平面协议来作为转发路径计算依据，这样虽然可以避免当前以太网单路径转发和广播环路的问题，但毕竟是增加了控制平面拓扑选路计算的工作，能否使其依然如以往 Ethernet 般高效还有待观察。MPLS 就是一个的前车之鉴，本想着帮IP 提高转发效率，没想到却在 VPN 路由隔离方面获得真正应用。2.2 EOR 与 TOR数据中
7、心网络设备就是交换机，而交换机就分为机箱式与机架式两种。当前云计算以大量 X86 架构服务器替代小型机和大型机，导致单独机架 Rack 上的服务器数量增多。受工程布线的困扰，在大型数据中心内 EOR（End Of Row）结构已经逐步被 TOR（Top Of Rack）结构所取代。机架式交换机作为数据中心服务器第一接入设备的地位变得愈发不可动摇。而为了确保大量机架式设备的接入，汇聚和核心层次的设备首要解决的问题就是高密度接口数量，由此机箱式交换机也就占据了数据中心转发核心的位置。综合来说，一般情况下数据中心以大型机箱式设备为核心，机架式设备为各个机柜的接入2.3 网络虚拟化云计算就是计算虚拟化
8、，而存储虚拟化已经在 SAN 上实现得很好了，剩下网络虚拟化了。云计算环境中，所有的服务资源都成为了一个对外的虚拟资源，那么网络不管是从路径提供还是管理维护的角度来说，都得跟着把一堆的机框盒子进行多虚一统一规划。而云计算一虚多的时候，物理服务器都变成了很多的 VM，网络层面则需要对一虚多对通路建立和管理更精细化。2.3.1 网络多虚一技术网络多虚一技术。最早的网络多虚一技术代表是交换机集群 Cluster 技术，多以盒式小交换机为主，较为古老，当前数据中心里面已经很少见了。而新的技术则主要分为两个方向，控制平面虚拟化与数据平面虚拟化。控制平面虚拟化顾名思义，控制平面虚拟化是将所有设备的控制平面
9、合而为一，只有一个主体去处理整个虚拟交换机的协议处理，表项同步等工作。从结构上来说，控制平面虚拟化又可以分为纵向与横向虚拟化两种方向。纵向虚拟化指不同层次设备之间通过虚拟化合多为一，相当于将下游交换机设备作为上游设备的接口扩展而存在，虚拟化后的交换机控制平面和转发平面都在上游设备上，下游设备只有一些简单的同步处理特性，报文转发也都需要上送到上游设备进行。可以理解为集中式转发的虚拟交换机横向虚拟化多是将同一层次上的同类型交换机设备虚拟合一， ，控制平面工作如纵向一般，都由一个主体去完成，但转发平面上所有的机框和盒子都可以对流量进行本地转发和处理，是典型分布式转发结构的虚拟交换机。控制平面虚拟化从
10、一定意义上来说是真正的虚拟交换机，能够同时解决统一管理与接口扩展的需求。但是有一个很严重的问题制约了其技术的发展。服务器多虚一技术目前无法做到所有资源的灵活虚拟调配，而只能基于主机级别当多机运行时，协调者的角色（等同于框式交换机的主控板控制平面）对同一应用来说，只能主备，无法做到负载均衡。网络设备虚拟化也同样如此，以框式设备举例，不管以后能够支持多少台设备虚拟合一，只要不能解决上述问题，从控制平面处理整个虚拟交换机运行的物理控制节点主控板都只能有一块为主，其他都是备份角色（类似于服务器多虚一中的 HA Cluster 结构） 。总而言之，虚拟交换机支持的物理节点规模永远会受限于此控制节点的处理
11、能力。数据平面虚拟化数据平面的虚拟化，目前主要是 TRILL 和 SPB，他们都是用 L2 ISIS 作为控制协议在所有设备上进行拓扑路径计算，转发的时候会对原始报文进行外层封装，以不同的目的 Tag 在 TRILL/SPB 区域内部进行转发。对外界来说，可以认为 TRILL/SPB 区域网络就是一个大的虚拟交换机，Ethernet 报文从入口进去后，完整的从出口吐出来，内部的转发过程对外是不可见且无意义的。这种数据平面虚拟化多合一已经是广泛意义上的多虚一了，此方式在二层Ethernet 转发时可以有效的扩展规模范围，作为网络节点的 N 虚一来说，控制平面虚拟化目前 N 还在个位到十位数上晃悠
12、，数据平面虚拟化的 N 已经可以轻松达到百位的范畴。但其缺点也很明显，引入了控制协议报文处理，增加了网络的复杂度，同时由于转发时对数据报文多了外层头的封包解包动作，降低了Ethernet的转发效率。从数据中心当前发展来看，规模扩充是首位的，带宽增长也是不可动摇的，因此在网络多虚一方面，控制平面多虚一的各种技术除非能够突破控制层多机协调工作的技术枷锁，否则只有在中小型数据中心里面应用，后期真正的大型云计算数据中心势必是属于 TRILL/SPB 此类数据平面多虚一技术的天地。2.3.2 网络一虚多技术网络一虚多技术，已经根源久远，从 Ethernet 的 VLAN 到 IP 的 VPN 都是已经成
13、熟技术，FC 里面则有对应的 VSAN 技术。此类技术特点就是给转发报文里面多插入一个 Tag，供不同设备统一进行识别，然后对报文进行分类转发。代表如只能手工配置的 VLAN ID 和可以自协商的 MPLS Label。传统技术都是基于转发层面的，虽然在管理上也可以根据 VPN 进行区分，但是 CPU/转发芯片/ 内存这些基础部件都是只能共享的。目前最新的一虚多技术是类似 Extreme Networks 在交换机系统中实现的Virtual Router，和 VM 一样可以建立多个虚拟交换机并将物理资源独立分配，目前的实现是最多可建立 64 个 VR，其中有一个用做管理。2.4 VM 互访技术
14、（VEPA ）随着虚拟化技术的成熟和 x86 CPU 性能的发展，越来越多的数据中心开始向虚拟化转型。虚拟化架构能够在以下几方面对传统数据中心进行优化：提高物理服务器 CPU 利用率；提高数据中心能耗效率；提高数据中心高可用性；加快业务的部署速度正是由于这些不可替代的优点，虚拟化技术正成为数据中心未来发展的方向。然而一个问题的解决，往往伴随着另一些问题的诞生，数据网络便是其中之一。随着越来越多的服务器被改造成虚拟化平台，数据中心内部的物理网口越来越少，以往十台数据库系统就需要十个以太网口，而现在，这十个系统可能是驻留在一台物理服务器内的十个虚拟机，共享一条上联网线。这种模式显然是不合适的，多个
15、虚拟机收发的数据全部挤在一个出口上，单个操作系统和网络端口之间不再是一一对应的关系，从网管人员的角度来说，原来针对端口的策略都无法部署，增加了管理的复杂程度。其次，目前的主流虚拟平台上，都没有独立网管界面，一旦出现问题网管人员与服务器维护人员又要陷入无止尽的扯皮中。当初虚拟化技术推行的一大障碍就是责任界定不清晰，现在这个问题再次阻碍了虚拟化的进一步普及。接入层的概念不再仅仅针对物理端口，而是延伸到服务器内部，为不同虚拟机之间的流量交换提供服务，将虚拟机同网络端口重新关联起来。 做为 X86 平台虚拟化的领导厂商，VMWare 早已经在其 vsphere 平台内置了虚拟交换机 vswitch，甚
16、至更进一步，实现了分布式虚拟交互机VDS（vnetwork distributed switch），为一个数据中心内提供一个统一的网络接入平台，当虚拟机发生 vmotion 时，所有端口上的策略都将随着虚拟机移动。虚拟以太网端口汇聚器（VEPA）是最新 IEEE 802.1Qbg 标准化工作的一个组成部分，其设计目标是降低与高度虚拟化部署有关的复杂性。如果我们研究一下使用虚拟交换机的传统方法就会发现，它与 VEPA 方法存在很大的不同，VEPA 使用户可以深入了解虚拟化及联网中的各项部署挑战和需要考虑的因素。当您的物理主机上的监视程序上有多台虚拟机（每台虚拟机都包含一套操作系统和多种应用）时，
17、这些虚拟机在相互通信和与外部世界通信时都要使用虚拟交换机。事实上，虚拟交换机是一种第 2 层交换机，通常以软件的形式在监视程序内运行。每种监视程序通常都有一个内建的虚拟交换机。不同的监视程序所含的虚拟交换机在能力方面也是千差万别的。当虚拟交换机从联网领域转移到服务器领域时，就有必要针对虚拟环境对传统的基于网络的工具和解决方案进行重新测试、重新定性和重新部署。从某些方面来说，这种变化会对虚拟化的快速扩展和普及造成阻碍。例如，传统的网络和服务器运营团队是截然分开的，每个团队都有自己的流程、工具和控制范围。由于虚拟交换机的原因，联网进入了服务器的范畴，因此像供应虚拟机这样的简单任务也需要这些团队之间
18、开展额外的协调工作，从而确保虚拟交换机的配置与物理网络配置保持一致。由于缺乏网络中虚拟机之间流量的可视性，因此涉及到虚拟机之间通信的故障查找和监视也变成了一项极具挑战性的工作。而且随着虚拟机数量的增长，单个服务器中的虚拟机目前已经达到 8 至 12 台，并且会在不久的将来达到 32至 64 台，因此，保护虚拟机彼此不受干扰，以及不受外界威胁的侵害都变成了一项需要认真考虑的问题。从防火墙到 IDS/IPS，基于网络的传统设备和工具都需要针对这些高度虚拟化的环境重新开发、重新认证和重新部署，从而确保虚拟机之间通过虚拟交换机的通信能够满足法规一致性和安全方面的要求。由于在虚拟交换机方面缺乏标准，因此
19、会增加涉及不同监视技术的培训、互用性和管理开销，进入使这些挑战变得更加复杂。事实上，物理服务器正在变成一种全面的网络环境，拥有自身的互用性、部署、认证和测试要求。有趣的是，这种趋势与虚拟化最基本的优势之一是背道而驰的，即虚拟化能够将服务器中过剩的容量以更高的效率来运行各类应用。目前，这种“服务器中的网络”很有可能演变成这些过剩容量的消费方，将 CPU 和内存资源吞噬殆尽。VEPA 的方法为应用这些挑战，各方已经提出了多种不同的解决方案，其中就包括VEPA。VEPA 是一种虚拟交换机替代产品；它不仅进入了标准化进程，而且成为业界众多厂商的一致选择。事实上，VEPA 会将服务器上虚拟机生成的所有流
20、量转移到外部的网络交换机上。外部网络交换机接下来会为同一台物理服务器上的虚拟机和基础设施的其它部分提供连接。实现这一功能的方法是将一种新型转发模式融入物理交换机中，使流量能够从来时的端口“原路返回 ”，从而简化同一服务器上虚拟机之间的通信。“原路返回”模式（或称“反射中继”）可以在需要时将包的单一副本反向发送至同一台服务器上的目的地或目标虚拟机。对于广播或组播流量，VEPA 能够以本地方式向服务器上的虚拟机提供包复制能力。传统上，多数网络交换机都不支持这种“原路返回”模式行为，因为它可能会在非虚拟世界中造成环路和广播风暴。然而，许多网络厂商都开始支持这种行为，目的就是解决虚拟机交换的问题，而且
21、使用简单的软件或固件升级即可实现。IEEE 的 802.1Qbg 工作组还努力将这种行为变成了标准。 VEPA 能够以软件的方式，作为监视程序中的瘦层在服务器中实施，也可以作为网卡中的硬件来实施，在后一种情况下还可以与 SR-IOV 等 PCIe I/O 虚拟化技术结合使用。其中一个典型的例子就是 Linux KVM 监视程序中提供的基于软件的 VEPA 实施。事实上，VEPA 将交换功能移出了服务器，并且将其放回物理网络中，而且让外部网络交换机能够看到所有的虚拟机流量。通过将虚拟机交换移回物理网络，基于 VEPA 的方法使现有的网络工具和流程可以在虚拟化和非虚拟化环境以及监视程序技术中以相同
22、的方式自由使用。防火墙和 IDS/IPS 等基于网络的设备，以及访问控制列表（ACL）、服务质量（QoS）和端口监视等成熟的网络交换机功能都可以直接用于虚拟机流量和虚拟机之间的交换，因此减少和消除了对虚拟网络设备重新进行昂贵的质量判定、测试和部署的需求。此外，VEPA 将网络管理控制层重新交给了网络管理员，为所有与虚拟机相关联网功能的供应、监视和故障查找提供了一个单一控制点。将网络功能从服务器卸载至网络交换机能够带来诸多的优势，例如释放服务器资源并将其用于更多的应用，同时还可在虚拟和非虚拟服务器之间提供线速交换；从 1Gbps 至 10Gbps，甚至可以达到 40Gbps 和更高的100Gbps。因此，基于 VEPA 的方法有助于扩大虚拟化部署，降低复杂性和成本，并且加快虚拟化的普及。尽管基于 VEPA 的方法能够带来许多好处，但在某些环境下，虚拟机间流量的交换最好还是留在服务器内部。例如，在有些环境下物理服务器要承担虚
