1、数据中心解决方案 * Page 2 Contents 总体网络概述 数据中心业务实现 高可靠性 安全保护 数据中心网络概览 Page 3 互联网 防火墙 汇聚交换机 核心路由器 IDS/IPS 备份数据中心 服务器群 网络运维中心 SAN交换机 磁盘阵列 DWDM 负载均衡器 IDC 业务区 企业应用区 电信业务区 NMS KVM SW管理网络 接入层交换机 业务网络 备份和存储网络 数据中心网络模块 SAN存储 备份服务器 MPLS 骨干网 三网分离的数据中心网络 业务网络、管理网络和备份网络流量分离，服务器通过不同的网卡分别接入不同的网络， 通过数据中心骨干网络进行互联 分离的网络可以保证
2、数据中心网络的高性能及高安全性，同时方便管理 Page 4 业务网络 NAS/备份 网络 SAN存储网络 网管网络 HBA 带内网管 带外网管 网管网络 业务网络 备份存储 网络 DC骨干网 数据中心管理网络 管理网络全部采用单链 路实现 服务器支持带内管理（ 网卡）和带外管理（ KVM网络） 运维中心可以通过 KVM 直接管理数据中心里的 服务器，也可以通过 KVM操作网管系统，通 过带内网管间接管理数 据中心里的服务器 Page 5 IDC 业务区 企业应用区 电信业务区 网管系统 防病毒服务器 KVM认 证中心 KVM交 换机 汇聚数据 交换机 网络运维中心 Internet KVM交
3、换机 数据中心存储备份网络 存储支持 SAN和 NAS 存储，满足不同的业 务需要（数据库和文 件级） 备份时，服务器使用 一个网卡连接备份网 络，使用 NAS存储时 ，可复用此网卡 备份网络一般通过 GE/10GE/DWDM光纤 网络连接二级数据中 心进行异地数据备份 ，当然也可以直接进 行本地备份 Page 6 SAN交换机 磁盘阵列 备份服务器磁带库 磁 盘阵 列 备份 数据 中心 DWDM Zone 1 Zone 2 Zone 3 存储网络 NAS/备份网络 数据中心业务网络典型组网模式 网络架构采用业界成熟的三层架构：接入、汇聚、核心 防火墙和负载均衡器采用外挂汇聚层交换机的方式进行
4、部署，网络层次简单，高靠性 Page 7 Aggregation Access Core Internet MPLS backbone T bit路由交 换 平台 10G接口 连 接外网 :9300/NE40E FW、 负载 均衡器 IPS/IDS在此部署， 保 证 网 络 安全， 提高网 络 效率 :5300/9300 G bit数据接入， 大容量考 虑 引入堆叠 及上行端口聚合 ： 5300系列 弹性的网络架构 接入层和汇聚层可以根据需 要进行扩展 大型网络采用分区设计，共 享一个核心层；整个网络分 步建设、方面数据中心扩容 及管理 交换机堆叠、链路聚合技术 使网络扩容更加方便 Page
5、8 Internet MPLS backbone Aggregation Module 1 Aggregation Module 2 Aggregation Module n Scaling Scaling Server Farm Access Layer 交换与路由层次划分 汇聚层交换机二层和三层网 络的分界点，上面为三层路 由，下面为二层交换 使用负载均衡的服务器，网 关在负载均衡器，不使用负 载均衡的服务器，网关在防 火墙 Page 9 Internet MPLS backbone L3路由 L2交换 服务器的分区设计 服务器群根据业务的不 同分为不同的业务区域 ，逻辑进行业务隔离 保障
6、安全，防止跨区的 越权访问和入侵、病毒 感染 根据业务重要性的不同 进行分区，可以提供不 同的网络服务水平，提 供 QOS保障 多个业务区可共享一个 汇聚层模块，也可能一 个业务区应用多个汇聚 层模块 Page 10 Internet MPLS backbone 防火墙 聚合交换机 核心路由器 IDS/IPS IDC业务区 企业应用业务区 电信业务区 网 络 模 块 服 务 器群 接入交换机 接入交换机 负载均衡 器 接入交换机 不同类型服务器的接入位置 中低端机架服务器，数量众多 ，通过接入层交换机接入； 高端服务器 /大型机，数量较少 且重要性高，直接接在汇聚层 交换机上，保证带宽； 没有
7、内置交换机的刀片服务器 ，通过接入层交换机接入； 内置交换机的刀片服务器，直 接接在汇聚层交换机上，减少 交换网络的层级，提升网络性 能； Page 11 Internet MPLS backbone 没有内置交 换机的刀片 服务器 内置交换机的 刀片服务器 中低端机 架服务器 高端服务 器 /大型机 服务器的三层架构 基于 Web的应用程序一般采用 Web、 application、 database 三层架构，各层之间通过 防火墙进行安全隔离；处于性能考虑， web-app-db之间可以采取 ACL实现 三种不同类型的服务器网络连接采用不同的 VLAN来识别 三个 VLAN的流量都经过负载
8、均衡和防火墙，所以负载均衡和防火墙可以为三个层次 所共用 三个层次也可以直接用物理网络进行划分，服务器之间部署交换机，同时附带防火墙 和均衡器，网络层次过多，成本高，不推荐使用 Page 12 WEB VLAN APP VLAN DB VLAN WEB APP DB 数据中 心核心 Internet 数据流 WEB APP DB 物理 防火 墙 ACL实现 ACL实现 Page 13 Contents 总体网络概述 数据中心业务实现 高可靠性 安全保 护 统一的数据业务承载 在同一组网模型下满足 3种不同用户对防火墙和负载均衡器的需要 Page 14 逻辑图 物理 连 接 图 L3 link
9、Trunk Trunk Trunk 汇 聚交 换 机 心跳 线 心跳 线 心跳 线 （1）不需要 （3）只需要 FW（2）需要 FW和 LB 接入交 换 机 黄 线 ：Trunk链 路 黑 线 ：L3链 路 （1）不需要 （3）只需要 FW（2）需要 FW和 LB 防火墙和负载均衡部署 防火墙对内隔离不同的 VLAN，提供三个 VLAN接口（子接口），分别对应 WEB、 APP和 DB,对 外隔离不同的分区，通常有一个或多个接口（子接口），对应所属的分区 VPN，如 IDC分区的 IDC VPN 或 Internet 负载均衡对内对外都只有 3接口（或子接口），分别对应 WEB、 APP、 D
10、B三个 VLAN 负载均衡根据需要进行部署，单台服务器时 或者 APP与 DB之间可能 APP本身就进行了均衡操 作，此时数据流不需要通过物理负载均衡器 Page 15 WEB APP 对应 各 VLAN 的接口 对应 各 VLAN 的接口 DBWEB APP DB 对应 各 VLAN 的接口 对应 各 VPN Instance的接口 VPN 1 Internet 虚 拟 化 设备 业务流流程逻辑设计 Internet Web，经过物理防火 墙和负载均衡器 9 7 6 2 Web App， ACL作安全，经过 负载均衡器 1 8 3 App DB， ACL作安全，不经 过负载均衡 4 5 Pa
11、ge 16 汇 聚交 换 机 接入交 换 机 心跳 线 心跳 线 Web server Database server Application server 互 连 Trunk 9 逻辑连 接 图黄 线 ：Trunk链 路 11 12 业务流流程物理设计 Page 17 物理 连 接 图 Web server Database serverApplication server 黄 线 ：Trunk链 路 互 连 Trunk 12 11 6 8 6 汇 聚交 换 机 接入交 换 机 l Internet Web ，经过物理防火 墙和负载均衡器 9 7 6 6 6 2 l Web App ， AC
12、L作安全，经过 负载均衡器 1 8 8 3 l App DB ， ACL作安全，不经过 负载均衡 4 5 MPLS VPN 实现区域隔离和多站点互访 不同站点的同一分区间可以可以实现安全的互连互通，与在同一局域网无差别。这样可以 连通位于不同城市的机房，消除信息孤岛。 同一类型的业务可以分布式部署在不同的站点，增加业务部署的灵活性 不同的分区间通过 MPLS VPN实现路由的隔离，比只采用防火墙做隔离大大增加了安全性 Page 18 Internet / MPLS backbone IDC VPN Data Center A Data Center B IDC VPN Enterprise V
13、PN Telecom VPN Management VPN Enterprise VPN Telecom VPN Management VPN 同一站点和不同站点间的跨区域访问 同一站点及不同站点的不同分区间的相互访问必须绕行 Internet（物理上绕行核心路器）和 经过防火墙的安全过滤 将来自其它区域访问当作来自 Internet的访问，由防火墙过滤，确保安全 Page 19 Internet / MPLS backbone IDC VPN Data Center A Enterprise VPN Telecom VPN Management VPN Internet / MPLS bac
14、kbone IDC VPN Data Center A Data Center B IDC VPN Enterprise VPN Telecom VPN Management VPN Enterpris e VPN Telecom VPN Management VPN 数据中心虚拟化实现 分区的服务器属于不同的 MPLS VPN，汇聚层的防火墙、负载均衡器通过虚拟化分别对应 不同的 MPLS VPN，实现同一设备为多个分区所共享 虚拟化实现资源合理分配，加强了可靠性，在某一分区遭受攻击，资源紧张的情况下，其 它分区仍可以正常工作 Page 20 MPLS Backbone Aggregatio
15、n Module 1 Blue VRF Red VRF Green VRF PEPEDC Core Internet Aggregation Module n 交换机虚拟化 multi-VRF（ MCE） 汇聚交换机通过部署 multi VRF，把路由表分成多个逻辑 路由，实现不同分区的三层 业务隔离 转发引擎通过 VPN ID索引不 同的路由表，根据目的 IP转 发到上行口 配合防火墙和负载均衡的虚 拟化实现汇聚层不同业务分 区的业务隔离 Page 21 分区 2 分区 3 分区 1 MPLS CORE VRF1 VRF2 VRF3 MPLS VPN 起始点 QOS设计 总体上分 6个优先级
16、。 管理流量最高标记为 5（ EF） 其他按照业务重要程度和 与客户签订的 SLA来确定 优先级等级 自有业务标记 4（ AF4）、 3（ AF3） 大客户金牌 2 （ AF2 ） 、银牌 1 （ AF1） 其他为 0（ BE） Page 22 增值业务 自有 业务 大客 户 其他 接入 设备 端口根 据所接 业务标记 Internet / MPLS backbone 入口根据源 和目的 IP标记 Page 23 Contents 总体网络概述 数据中心业务实现 高可靠性 安全保 护 接入层可靠性设计 接入交换机到汇聚采用三角型的组网 汇聚层的防火墙、负载均衡器等设备 可以为多个接入层交换机对
17、所共用 冗余链路，倒换时间短 VLAN可以跨接入交换机，灵活性高， 方便部署 可靠性： l STP/RSTP/MSTP l Smart Link/Monitor Link l Loopback detection l 服务器多网卡接入 Page 24 AggregationLayer 3 Layer 2 三角环路 .1Q Trunk Vlan 2 Vlan 3 Vlan 2 MSTP Smart link Smart link Loopback detection Loopback detection STP二层可靠性保护 VLAN trunk实现接入交换机之间 的二层互通 MSTP破环防止转
18、发风暴，同时应 用多生成树实例，实现负载均衡 秒级的故障恢复 BPDU保护，防止边缘端口恶意攻 击导致重新计算生成树 环路保护， 防止由于网络拥塞导 致 BPDU没有及时传送引起端口状 态切换产生环路 根桥保护，保护根桥的指定端口 免受虚假 BPDU攻击导致状态切换 TC（ topology change）保护，防 止频繁的 TC_BPDU报文导致 ARP 和 MAC反复删除，引起 CPU过载 Page 25 802.1Q Trunk STP root primary Active Active DC Core STP root-protection STP loop-protection S
19、TP BPDU-protection Smart link双归可靠性保护 Page 26 l 接入交换机双链路上行到汇聚交 换机，实现双归保护 l 50ms的链路切换，双归应用场景 可取代 MSTP实现高可靠链路保护 l 独有的 monitor link特性，可检测 到汇聚交换机上行链路的端口状 态（ port3故障） l 多 Smart link实例实现业务的负载 均衡 Port1 Port2 Port3 Port 4 Port 5 Smart link group: port1, 2 Monitor link group : port3, 4, 5 Layer 3 Layer 2 DLDP
20、 和 环路检测 二层网络交换机各端口之间部 署 DLDP（ device link detection protocol），用于检测单向链路 是否存在 在部署 STP的情况下，推荐部署 ，用于确保生成树正确，不发 生环路 端口环路检测（ Loopback detection），部署在接入交换 机与服务器相连端口，防止用 户组网或配置出现错误 Page 27 DC Core Loopback dection DLDP NIC Teaming 实现服务器多网卡捆绑 服务器双链路上行，实现双归保护 网络驱动程序将多个网卡捆绑成一个网卡 一个网卡失效，另一个接管它的 MAC地址 服务器使用同一个 IP
21、进行访问 Page 28 Active Standby Active Disable IP=192.168.1.1 MAC=00e0.fc00. 1111 IP=192.168.1.1 MAC=00e0.fc00. 1111 Normal Failure 汇聚层可靠性 VRRP 汇聚交换机之间配置多个 VRRP 组实现备份和负载分担 负载均衡设备和防火墙之间分 别建立 VRRP组实现备份 上述 VRRP组的心跳通过汇聚交 换机之间的 Trunk链路进行交 互 BFD实现加快 VRRP组心跳检测 ，实现 50ms快速倒换 Page 29 DC Core VRRP1VRRP1 VRRP2 VRRP
22、3 VRRP3 VRRP4 VRID2 master VRID4 backup VRID2 backup VRID4 master VRRP条件下的故障切换 二层双归保 护可以是 MSTP或者 Smart link 防火墙故障 处理同负载 均衡器 防火墙和负 载均衡器同 汇聚交换机 之间的保护 通过链路聚 合完成 Page 30 （ A） （ C） （ B） （ D） 链路聚合 聚合分为两种：静态聚合，动态聚合（ LACP） 提供更高的带宽，同时进行负载分担 链路备份，提高可靠性 Page 31 FE/GE LACP When bandwidth is not enough? When lin
23、k fault? DC Core 核心层网络拓扑 对于中小型网络，推荐双核心备 份 对于大型或可靠性要求较高的网 络推荐环形组网（ RRPP） 50ms的快速倒换 根据 VLAN进行负载分担 三层网络可靠性通过 IGP FC（路由 快速收敛）实现秒级路由收敛 Page 32 VRRP master VRRP backup VRRP master VRRP backup 核心 层 核心 层 RRPP Route domain Route domain Page 33 Contents 总体网络概述 数据中心业务实现 高可靠性 安全保 护 安全设施部署保证内部业务网络安全 防火墙对非法报文进行过滤
24、，同 时通过双防火墙设计提升安全可 靠性 IDS对所有的流量进行分析，发现 异常，精确辨认攻击，向网络管 理员上报告警； IDS建立相应的策 略，配合防火墙进行工作 IPS可以对数据报文进行 L2 L7的 深度检测，对蠕虫、病毒、 DOS/DDOS等攻击进行防范，实现 自动保护 Page 34 Internet MPLS backbone Firewall IPS IDS 远程用户接入安全 IP SEC VPN和 SSL VPN提供安全的远程访问功能。 IP SEC VPN应用于远程固定网络的接入， SSL VPN应用于动态的用户接入（公司外部、家庭等的远程 Internent接入） VPN网关终结 VPN对用户进行认证 VPN网关可能由单独的安全设备提供（与防火墙等集成一起的安全设备），也可由核心层 路由器或者交换机提供该功能 Page 35 Internet 大型分支 中小型分支 合作伙伴 IP Sec VPN IP Sec VPN SSL VPN 局域网 VPN网关 数据服务器 CA、认证服务器 Thank you! Page 36
