互联网数据中心机房(idc)建设方案.doc

1、数据中心建设方案目 录综述 .2IDC 网络建设 .5IDC 网络建设 .6IDC 基础系统建设 .11IDC 应用服务系统建设 .24IDC 综合管理系统 .32IDC 计费系统 .36IDC 计费系统 .40技术 服务 .43IDC 机房系统 设计说明 .51一期实施内容建议 .58综述经历了 ISP/ICP 飞速发展，.COM 公司的风靡后，一种新的服务模式-互联网数据中心（Internet Data Center，缩写为 IDC）正悄然兴起。它在国外吸引着像 AT&T、AO- 、IBM、Exodus、UUNET 等大公司的巨资投入；国内不但四大电信运营商中国电信、中国网通、中国联通、中

2、国吉通开始做跑马圈地，一些专业服务商如清华万博、首都在线和世纪互联等，也参与了角逐。 IDC(Internet Data Center) - Internet 数据中心，它是传统的数据中心与Internet 的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到 7x24 服务、反应速度快等。IDC 是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。IDC 作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发

3、带宽甚至 ASP、EC 等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC 是个高品质机房，在其建设方面，对各个方面都有很高的要求。IDC 的总体结构如下图所示:IDC 的建设主要在如下几个方面：网络建设IDC 主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN 和与 Internet 接入等方面。IDC 的网络建设主要有：- IDC 的- AN 的建设，包括其- AN 的基础结构，- AN

4、的层次，- AN 的性能。- IDC 的 WAN 的建设，即 IDC 的各分支机构之间相互连接的广域网的建设等。- IDC 的用户接入系统建设，即如何保证 IDC 的用户以安全、可靠的方式把数据传到 IDC 的数据中心，或对存放在 IDC 的用户自己的设备进行维护，这需要IDC 为用户提供相应的接入方式，如拨号接入、专线接入及 VPN 等。- IDC 与 Internet 互联的建设。- IDC 的网络管理建设，由于 IDC 的网络结构相当庞大而且复杂，要保证其网络不间断对外服务，而且高性能，必须有一高性能的网络管理系统。服务器建设IDC 的服务器建设可分为多个方面，总体上分为基础服务系统服务

5、器和应用服务系统服务器，主要有：- 基础系统服务器：这类服务器是保障 IDC 为用户提供各种服务的前提，这类服务器有 DNS 服务器、目录服务器、网络管理服务器、防火墙服务器、各类安全服务器、IDC 系统性能监控服务器等等。- 数据库服务器：它是保证 IDC 可以为用户提供各种应用服务的基础，IDC 的数据库服务器必须能支持大容量访问、多种数据库等。- 数据备份服务器：它是 IDC 为客户提供安全服务的内容之一，保证客户的数据安全可靠。由于 IDC 的服务器种类繁多、有多种数据库，所以数据备份要支持多机型、多种数据格式等等，而且容量要大。- 应用服务器：是 IDC 为用户提供相关应用服务的服务

6、器。由于 IDC 的业务扩展，所以应用服务器应具有很好的扩展性，以及支持各类应用软件的数量要多。- 服务器的负载均衡： 这是 IDC 提供高性能、高可靠性服务的重要方法之一，服务器的负载均衡可由硬件设备（如网络交换设备）或软件的方法实现。存储系统的建设存储系统是 IDC 的重点建设内容之一，作为一个 IDC，其存储系统是相当庞大的，特别是在现在的企业中，数据的容量以由 GB 级增长到 TB 级，如此大的数据需要有一个更加安全、可靠的存储系统，由于访问的数量也是相当庞大的，所以对存储系统的效率也有很高的要求；而且存储系统应具有很好的扩展性，以满足 IDC 的发展的需求。软件系统的建设软件系统的建

7、设是 IDC 需要大量投入的方面，它是在前面网络、服务器和存储系统建设的基础上，IDC 开展对外服务的手段。IDC 在软件建设的主要有：- Web 系统：IDC 开展 Web-Hosting 服务内容之一，Web 系统软件应支持在一个系统上能建立为多家企业服务的 Web 系统功能等。- 电子邮件系统：电子邮件系统应支持多种电子邮件协议，如SMTP、POP3、IMAP4、Web-Mai- 和 Voice-Mai- 等，同时电子邮件系统应有很好扩展性等。- 数据库系统：IDC 应建立多厂家的数据库系统，如应有 Orac- e、Informix、SQ- Server、SyBase 等厂家的数据库，以

8、满足不同用户的需求。- 安全系统：如防火墙软件（硬件防火墙除外）、防黑客入侵、防病毒软件等。这是保证 IDC 为用户提供安全服务器的前提。- 数据备份软件:支持多备份设备、多种厂家的机器、多种数据库等等。- 应用开发系统：IDC 应提供相应的开发系统平台，提供相应的开发工具，满足用户或 IDC 开发相应应用的需求。IDC 自身服务系统建设IDC 是靠其优质的服务来占有市场和赢得客户的，为了做到优质高效服务，IDC在其自身服务器系统的建设上也必须有大量的投入。IDC 自身服务系统主要有：- 客户关系管理系统(CRM): CRM 是 IDC 与客户建立良好关系的基础服务系统，它为 IDC 提供的用

9、户的发展动态以及用户的新的需求等。- 计费系统：计费系统是 IDC 收入的保证。- 网络与服务器管理系统：IDC 有庞大的网络和服务器系统，要管理好这些系统，必须有一个功能强大的网络、服务器和应用管理系统，此能保证 IDC 对外的服务质量。- IDC 的内部管理系统：保证 IDC 内部各部门能够统一协调工作，完成高质量的服务。机房场地建设机房场地的建设是 IDC 前期建设投入最大的部分。由于 IDC 的用户可能把其重要的数据和应用都存放在 IDC 的机房中，所以对 IDC 机房场地环境的要求是非常高的。 IDC 的机房场地建设主要在如下几个方面：- 机房装修：机房装修主要考虑吊顶、隔断墙、门窗

10、、墙壁和活动地板等。- 供电系统：供电系统是 IDC 的场地建设重点之一，由于 IDC 的大量设备需要极大的电力功率，所以供电系统的可靠性建设、扩展性是极其重要的。供电系统建设主要有：供电功率、UPS 建设（n+1 ） 、配电柜、电线、插座、照明系统、接地系统、防雷和自发电系统等。- 空调系统：机房的温度、通风方式和机房空气环境等。- 安全系统：门禁系统、消防系统和监控系统。- 布线系统：机房应有完整的综合布线系统，布线系统包括数据布线、语音布线、终端布线。- 通信系统：包括数据线带宽、语音线路数目等。IDC 网络建设IDC 网络功能结构我们建议的 IDC 网络结构如下图所示：核心交换层：由两

11、台 CISCO6509 多层交换机构成，实现双机容错工作，保证数据的高速、无阻塞的交换。策略分布层：可以由一组 CSS11000 系列内容交换机组成，负责完成服务器负载均衡和策略分布任务。服务器访问层：由一组 Cat3524 交换机组成，完成托管服务器的高速接入工作。后端网络：由两台 CISCO6509 构成，实现双机容错工作，实现 IDC 管理中心，数据库、邮件、应用等服务器和存储系统的连接，托管服务器通过第二块网卡和后端网络相连，保证独立和高速的数据访问。同时，后端网络通过防火墙和前端的核心网络连接，实现 IDC 管理中心对前端网络的管理，防火墙则为后端网络提供更严格的保护。 用户访问层：

12、由若干台 Cat4000 和一组 Cat2924 组成，提供企业和个人用户接入，提供 INTERNET 上网，企业用户还可以通过 VLAN 和自己的托管服务器连接实现日常的维护工作。IDC 网络建设方案设计描述1Internet 接入网络结构由于本系统 Internet 接入服务用户主要来自于各写字楼内的公司和高级酒店、公寓内的客人和住户，且各写字楼相距较近，所以全部采用 LAN 结构为这些用户提供接入服务，如下图所示:LAN 采用流行的以太网络结构，核心交换：Cat6509 多层交换机分布层交换或周边建筑物内主干：Cat4006 交换机接入层交换机：Cat2924XL 交换机由于考虑到在酒店

13、和写字楼内重新进行数据布线有一定困难，所以采用 TDSL 技术实现楼内的数据传输，所有数据交换设备都集中在中央机房内，但网络的总体结构不变。核心交换使用两台 Catalyst 6509 构成，形成全冗余的高速网络核心。分布层交换机 Catalyst 4006 使用两条千兆线路分别与两台 6509 相连，形成冗余的千兆主干。楼层交换机使用 Catalyst 2924XL 交换机。Cat6509 上的千兆端口还用来连接其他的节点，与其他节点的 LAN 一起构成一个分布式的城域范围的数据中心的结构。2用 CACHE 加速 INTERNET 访问Internet 的发展趋势是尽可能地将内容在地理上靠近

14、用户，由于本方案中INTERNET 接入用户的大都来自与商务写字楼和酒店公寓，其对 INTERNET 的访问具有很大的重复性，所以有效地部署 CACHE 可以大大地降低 INTERNET 接入的带宽负荷，提高内容的相应速度。另外，由于现在 INTERNET 上出现越来越多的多媒体形式的内容，指望拓宽INTERNET 出口带宽来提高用户对这些内容的访问速度是根本不现实的，而使用CACHE 技术对 INTERNET 上的这些内容进行缓存，不但可以使这些内容对用户变得现实可用，提高用户的忠诚度，而且还可以通过定期定制一些多媒体节目在CACHE 中，以有偿的方式向用户提供，这就演化成了一种增值服务。总

15、之，CACHE 对 IDC 以及 ISP 都是必不可少的，经营者可以通过灵活地使用CACHE 来最大限度地降低成本，提升利润。我们建议使用 NETAPP 公司的 NetCache C1105 来提供缓存服务，将其连接在INTERNET 接入路由器上提供服务。NetCache C1105 的特点：可靠性/可用性/可扩展性专用的体系结构专注于内容可用性的提供微码的核心系统，在增加数据可用性的前提下达到最小的开销WAFL（Write Anywhere File System）NetApp 专利的文件系统优化了磁盘到网络的传输冗余的热插拔电源ECC 内存保护OS 的冗余拷贝简化的管理专用的内容管理和送

16、达软件大型部署时的多系统管理应用分析与报告的日志快速的安装与启动企业框架软件集成提供集中的应用管理基于 WEB 与 CLI 的管理温度、电源监控提供可预测的系统管理安 全加固了的 TCP/IP 协议栈在没有防火墙的保护下也能抵御一般的网络攻击Icap-enabled 过滤和病毒检测本地支持的第三方过滤表NTLM、LDAP 与 RADIUS 认证支持ACL多协议支持 HTTP、FTP、NNTP支持主要的流技术(MMS，RTSP，QuickTime)iCAP-enabled 应用提供灵活的对增值服务的访问3服务器负载均衡的实现对于大部分站点而言，采用多个服务器而不是一台大型服务器，可以提高服务器的

17、响应性能，减少服务器的单点故障。但多台服务器的采用，必须考虑服务器的负载均衡问题。在本方案中服务器置于 CSS11800 内容服务交换机之后，所以由 CSS11800 完成服务器的负载均衡。CSS11000 系列通过 ACA(Arrowpoint Content Assure protocol) 制定负荷参数，选择最小负荷的服务器提供用户所需的内容。同时 CSS11000 系列还支持加权轮询-Weighted Round Robin；最小连接机制；最大连接数限制等多种算法实现负载均衡。Cisco CSS 11000 系列内容服务交换机是业界唯一的动态负载均衡交换机，采用具有专利权的 ACA 算

18、法，可以根据 Cache 服务器的命中率、流建立数和RTT(Round Trip Time)选择最合适的服务器应答用户的请求。与其他的负载均衡设备比较，CSS 具有更高的负载均衡能力，因为它是一种基于流的交换机，其他厂家的负载均衡设备则是基于包的交换机。基于包的解决方案通过检测对某一特定内容的请求时的每个包来做转发决定，这样严重增加了 CPU 的负担。而作为基于流的交换机的 CSS，一旦流建立起来后，该流所有的流量都将以线速转发。CSS 以下面的多种方法支持负载均衡： 具有专利权的 ACA 负载均衡算法 轮询(Round Robin, RR) 加权轮询(Weighted Round Robin

19、, WRR) 最少连接(Least Connection, LC)/最大连接(Max Connection) 目的 IP 地址 源 IP 地址 域/域 Hash 算法(Domain/Domain hash) URL/URL Hash 算法考虑到建设初期，负载均衡交换机不是必须的设备，而且也不是所有的托管站点都需要负载均衡功能，所以，我们建议先不采用负载均衡设备，等到有需求的时候再增加。4WEB 服务器的连接我们为 IDC 中的每台托管服务器都配置两组网卡，一组用于前端网络的连接，提供 WEB 访问；另一组用于后端网络的连接，提供对数据库、邮件等服务器以及存储系统的访问。通过使用不同的网络通道进

20、行数据库等后台应用访问，可以使服务器更充分的利用网络带宽来相应 WEB 请求；同时，后端网络与前端网络的分离可以让数据库访问、文件存取等要求高速、大容量的数据访问享有更多的网络带宽。服务器通过一组接入交换机 Cat3524 连入主干交换网络。5后端网络的设计由于后端网络连接 IDC 管理中心，数据库、邮件等服务器和大容量存储系统，需要高速的交换系统，所以我们使用两台 Cat6509 交换机作冗余的核心，连接一组 Cat3524 提供和 WEB 服务器的连接；对于数据库等服务器和存储系统，可以采用千兆以太端口或千兆以太通道提供高达数 Gbps 的直接连接。6用户的远程维护一般情况下，IDC 用户

21、会要求远程维护自己的托管服务器，由于用户只允许对自己托管的服务器进行访问，因此，必须采用如：VPN、VLAN 等技术保证这一点。通过连接到后端网络的广域网路由器可以提供用户通过专线、拨号、VPN等各种方式实现远程维护。对远程维护的行为进行可以通过以下几种方式进行：DDN 专线：用户通过 DDN 专线连接到 IDC 中心，通过策略路由或 VLAN 被限制只能访问自己的服务器，进行维护。PSTN 或 ISDN 拨号：用户通过拨号线路访问 IDC 中心，身份认证由 AAA Server 进行，并进行行为授权，保证用户只能访问到自己的服务器进行维护。VPN：用户可能距离 IDC 中心太远，从各方面不具备通过 DDN 或 PSTN 线路访问 IDC 中心的条件，这是可以通过 INTERNET 采用 VPN 的方式与 IDC 中心连接并维护服务器。这种情况下，由 VPN Server 或 VPN 路由器保证连接的安全性和可靠性。VPN 的实现可以采用 IPSec 隧道和 MPLS VPN 技术，在保证信息正确可达的情况下，对用户信息进行高强度的加密，保证用户信息的不被窃取和完整