1、同有科技技术方案网站建设硬件设计方案同有科技技术方案北京同有飞骥科技股份有限公司2014-9-25同有科技技术方案一、 架构设计1.1 总体思路为提高网站的高并发性能,提高开发效率及运营效率,主要按如下几个思路进行规划设计: 负载均衡1) 四层交换负载均衡:采用负载均衡器来实现硬件级的四层交换负载均衡,或采用LVS来实现软件的四层交换负载均衡2) 通过第三方软件来实现负载均衡,同时实现页面请求的缓存。通过Nginx实现反向代理服务器集群,同时搭建 squid集群以作为静态页面和图片的缓存3) 通过web服务器的配置来实现负载均衡,即通过apache或是Nginx 将客户请求均衡的分给tomca
2、t1,tomcat2.去处理 数据存储的设计思路1)数据库拆分,把生产数据库和查询数据库分离,对生产数据库采用RAC实现数据库的集群。2)采用高效的网络文件共享策略,采用独立的图片服务器和磁盘阵列来实现页面图片资源的web请求和存储。 不同网络用户访问考虑1) 通过引入CDN 来解决不同网络服务商的接入速度问题,一般只能解决同有科技技术方案静态页面的访问问题。2) 在不同运营商机房部署服务器,通过镜像技术来实现不同网络服务商的接入速度问题。二、 网站的物理架构和网络拓扑2.1 物理架构2.2 网络拓扑结构同有科技技术方案方案说明:1) 采用双防火墙双交换机做网络冗余,保障平台服务采用双防火墙接
3、通 2 线路互联网接入,设备之间采用 VRRP 协议,在任何一个防火墙、互联网发生故障后均可自动将流量切换到另一端,保证网站的正常运行,设备或网络恢复后,自动恢复。采用双千兆交换机分别接在 2 台防火墙上,当某台设备或者网络链路发生故障后,正常的设备自动接管已坏设备的工作,不影响网站的整体运行,根据业务及真实服务器的数量,交换机可以随时增加2) 采用硬件设备负载均衡器,实现网络流量的负载均衡使用硬件设备负载均衡器,将网络流量均衡的分担到 WEB 服务器集群各节点服务器,保障平台服务器资源均衡的使用。3) 采用专业磁盘阵列,实现图片和关键数据的读取和存储数据库服务器和图片服务器后端分别接入光纤磁
4、盘阵列,实现图片和数据同有科技技术方案库数据的高性能读写和查询。三、 硬件配置分析3.1 网络带宽只考虑门户访问的带宽占用,后台管理页面等其他业务访问与门户访问相差 2-3 个数量级,这一部分网络流量占用忽略。同时考虑网络带宽利用率(70%)根据业务设计能力,每秒网络流量=WEB 网站每秒钟访问流量=(每次访问占用的带宽 每秒访问次数)/带宽利用率=(200K*8*n)/0.7注:一般门户的首页大小1M、平均 200K/页面,我们以平均值来计算。所以,并发数在 50000 的网站需求的网络带宽为:(200k*8*50000)/0.7=114286Mb3.2 架构和硬件配置选型3.2.1 硬件配
5、置参考序号 产品功能 参考型号、配置 备注1 主机设备1.1数据库服务器2U 双路机架式服务器, 2 个 E5-2650V2 处理器,每处理器为 8 核,共计 16 核。内存大小 128G。3 块 600GB 15krpm SAS 硬盘。集成四千兆以太网接口。1.2 WEB 服务器2U 双路机架式服务器, 2 个 E5-2630 处理器,每处理器为6 核,共计 12 核。内存大小 128G。3 块 600GB 15krpm SAS 硬盘。集成四千兆以太网接口。加配一张千兆双口以太网卡同有科技技术方案1.3Nginx、缓存服务器2U 双路机架式服务器, 2 个 E5-2620 处理器,每处理器为
6、6 核,共计 12 核。内存大小 64G。3 块 600GB 15krpm SAS硬盘。集成四千兆以太网接口1.4 管理终端1 个 Intel Xeon E5-2620 处理器,内存大小 8G,双千兆网口2 网络设备2.1 负载均衡器RADWARE 应用负载均衡设备,型号:为 ODS-504,有,4 个可选的千兆位电端口,1G 主内存,500M 处理能力(最大可通过License 升级为 4G)2.2 防火墙CISCO ASA5520 防火墙并发连接:280000网络吞吐:450安全过滤:225MB网络端口:4 个千兆以太网接口+1 个快速用户数限:无用户数限制用户VPN 支持:支持2.2 交
7、换机Quidway S3952P-EI传输速率:10Mbps/100Mbps/1000Mbps网络标准:IEEE 802.1Q、IEEE 802.1D端口数量:48接口介质:10/100Base-T、1000Base-X传输模式:全双工/半双工自适应背板带宽:32Gbps3 存储设备3.1 光纤存储柜NetStor iSUM460EFC-SAS 存储系统,2U12 盘位,最大支持 312 片硬盘,双控制器;8 个 1Gb iSCSI 主机接口和 4 个 16Gb FC 端口,可支持 8Gb FC,万兆 iSCSI,6G SAS 板卡;缓存双控下标配8GB,缓存双控下最大支持到 64GB,内置
8、BBU 和 Flash 卡保护缓存数据;支持 RAID 0,1,3,5,6,10,30,50,60;支持2.5 寸 300/600/900/1200GB 10krpm SAS 硬盘,支持 3.5数据库按需配置硬盘,图片存储按规划情况配置同有科技技术方案寸 1/2/3/4TB 7.2krpm 近线 SAS 硬盘;2 组双冗余 460W可热插拨电源;全中文管理软件;3.2 光纤交换机 光纤交换机( 4/32B SAN Switch) 注:上表为硬件的参考配置,根据网站规模的不同,在初期可以不用硬件负载均衡器。服务器性能也可以作适当缩减,达到一定规模后硬件的扩容3.2.2 Web 架构和硬件选型并发
9、能力 Web 服务器架构 服务器配置 备注1) Apache+n 个Tomcat(n=2) ;5000 次/秒 2)Nginx+n 个Tomcat(n=2) ;2 台 web 服务2 台数据库服务器1 套光纤存储1 台 web 服务器同时部署apache(nginx)和 tomcat;1 台 web 服务器部署 tomcat数据库做应用高可用光纤存储作数据库共享存储空间1) Apache+n 个Tomcat(n=2) ;2) Nginx+n 个Tomcat(n=2) ;1 万次 /秒注:同时配置缓冲4 台 web 服务1 台 nginx 服务器1 台缓存服务器2 台数据库服务器1 套光纤存储4
10、 台 web 服务器装 tomcat;数据库连接光纤盘阵做应用高可用5 万次多个 Nginx+n 个Tomcat(n=2)组合;注:同时配置缓冲20 台 web 服务2 台 nginx 服务器2 台缓存服务器2 台负载均衡器4 台数据库服务器2 套光纤存储组成多个 nginx+tomcat 集群(1 台nginx+10 台 web 服务器装 tomcat),通过负载均衡器分流。数据库连接共享存储作高可用;生产数据库与查询数据库分离。说明:1)理论上单个 tomcat 可以支持 2500 的并发,考虑到门户的高可用性,可以同有科技技术方案考虑用 Nginx+n 个 Tomcat(n=2 )的负载
11、均衡架构。2)当并发2500 时可以考虑增加 tomcat 服务器,当 tomcat 增加达到 20 个时,理论可以支撑 5 万次的并发请求。3)当并发5 万次时,则需要考虑增加一套 Nginx+tomcat 的组合,多个Nginx+tomcat 通过硬件或是软件负载均衡器来实现平载均衡。4)以上的硬件配置没考虑其他复杂的应用需求,如有其他应用(大容量的文件存储、接口服务、复杂的计算等)需求则需要配置相应的硬件。5)网站建设初期可以先部署 3-5 台 web 服务器,随着并发访问量的增加再添加服务器硬件设备。3.3 硬件扩容策略当网站发展到一定阶段,随着用户量不断扩大,现有的网络资源和服务器资源不能满足用户需要的时候,就需要对平台进行服务器和网络的扩容。以下是两种平台扩容的方式: 增加服务器对于web的并发处理有瓶颈时,新增的web 服务器,把新增的web 服务器填加到Web服务器集群中,以增加Web 的并发处理能力。对于数据库有处理压力时,可以增加数据库服务器,增加数据库服务器加入数据库的集群中。 增加存储对于存储容量不能满足业务需要时,可以考虑在磁盘柜中新增加硬盘,甚至考虑新增磁盘柜。同有科技技术方案 升级服务器可以升级服务器的内存、硬盘,甚至考虑用新的性能更高的服务器来替换。 网络扩容1) 申请更大的网络带宽2) 引入CDN3) 升级内网交换机