1、1大型数据中心节能冷却系统鹏博士数据中心事业部 王克宁 李安平（ ）目前就职于微软的数据中心最有影响的专家 Christian Belady 在 2006 年提出数据中心能源利用率（PUE）的概念。如今，PUE 已发展成为一个全球性的数据中心能耗标准。数据中心的 PUE 的值等于数据中心总能耗与 IT 设备能耗的比值，比值越小，表示数据中心的能源利用率越高，该数据中心越符合低碳、节能的标准。目前国内一些小规模的传统数据中心，PUE 值可能高达 3 左右，这意味着 IT 设备每消耗 1 瓦特电力，数据中心基础设施便需要消耗 2 瓦特电力。据网络上收集的相关信息，目前 GDS 在建的 4 个机房在
2、与第三方设计单位签约时，都是按照 PUE 值等于 1.8 的标准进行规划的。世纪互联近五年建设的水冷数据中心的 PUE 值在 1.5 左右。鹏博士酒仙桥大型数据中心的 PUE 设计值不超过 1.5。根据收集相关网站信息，全球最最节能的 5 个数据中心分别是： 雅虎“鸡窝”式数据中心（PUE=1.08）雅虎在纽约洛克波特的数据中心，位于纽约州北部不远的尼亚加拉大瀑布，每幢建筑看上去就像一个巨大的鸡窝，该建筑本身就是一个空气处理程序，整个建筑是为了更好的呼吸 ，有一个很大的天窗和阻尼器来控制气流。 Facebook 数据中心（PUE=1.15）Facebook 的数据中心采用新的配电设计，免除了传
3、统的数据中心不间断电源(UPS)和配电单元(PDUs)，把数据中心的 UPS 和电池备份功能转移到机柜，每个服务器电力供应增加了一个 12 伏的 电池。同时 Facebook 也在使用新鲜空气进行自然冷却。 谷歌比利时数据中心（PUE=1.16）谷歌比利时数据中心竟然没有空调!根据谷歌公司工程师的说法，比利时的气候几乎可以全年支持免费的冷却，平均每年只有 7 天气温不符合免费冷却系统的要求。夏季布鲁塞尔最高气温达到 66 至 71 华氏度（19-22） ，然而谷歌数据中心的温度超过 80 华氏度（27 ） 。 惠普英国温耶德数据中心（PUE=1.16）惠普英国温耶德数据中心利用来自北海的凉爽的
4、海风进行冷却。 微软都柏林数据中心（PUE=1.25）微软爱尔兰都柏林数据中心，采用创新设计的“免费冷却”系统和热通道控制，使其PUE 值远低于微软其他数据中心的 1.6。从上面可以看出，降低 PUE 最有效的措施是采用免费自然制冷措施和替代传统的 UPS系统。对于数据中心，其能耗一般由 IT 设备能源消耗、UPS 转化能源消耗、制冷系统能源消耗、照明系统和新风系统的能源消耗以及门禁、消防、闭路电视监控等弱电系统能源消耗五部分组成。如果需要降低 PUE 的值，就需要从以下四个方面采取措施。 采用转换效率高的 UPS 系统。目前，新一代数据中心的设计基本采用新型的高频2（IGBT 技术）UPS
5、系统，电源转换效率和功率因数都比传统的工频（可控硅技术） UPS 系统有非常大的提升，而且重量轻和体积小。由于 UPS 的电源转换效率和负载率成正向关系，因此在设计和运维时要尽可能提高 UPS 的负载率。目前国内电信和联通都在提倡使用高压直流 UPS 系统，取消了传统意义上 UPS 的逆变功能，不仅电源转换效率提高 3 到 5 个百分点，而且可靠性大大提高。上面介绍 Google 和 Facebook 干脆在数据中心取消了传统的UPS 系统，把电池和服务器的电源相结合，在正常运营时完全没有额外的能源消耗。 采用高效节能的绿色制冷系统。主要是采用水冷空调和自然制冷措施，下面做详细介绍。 采用 L
6、ED 绿色节能光源取代或部分取代传统光源，据了解，目前在世纪互联和鹏博士的数据中心部分机柜上已经安装 LED 光源。另外就是运维管理，做到人走灯关，根据人员情况确定新风系统的运行时间和风量。 弱电系统总的能源消耗很小，一般不需要过多关注。但是如果可能的话，最好采用集中的高效直流供电系统，因为一般分布式的小型直流电源系统转换效率低，功率因数也低。1、适合数据中心的空调系统介绍由于数据中心的发热量很大且要求基本恒温恒湿永远连续运行，因此能适合其使用的空调系统要求可靠性高（一般设计都有冗余备机） 、制冷量大、小温差和大风量。空调系统的制冷能效比（COP）是指空调器在额定工况下制冷运行时，制冷量与有效
7、输入功率之比。该数值的大小反映出不同空调产品的节能情况。空调系统的制冷能效比数值越大，表明该产品使用时产生相同制冷量时所需要消耗的电功率就越小，则在单位时间内，该空调产品的耗电量也就相对越少。新的强制性国家标准房间空气调节器能效限定值及能效等级 （GB12012.3-2010）由国家质检总局、国家标准委于 2010 年 2 月 26 日发布，从 6 月 1 日起将在全国范围内实施。此标准规定 14000W 制冷量以下民用空调器能效等级指标以及试验方法、检验规则、房间空调器产品新的能效限定值、节能评价值等。国家强制性房间空调器能效等级标准能效等级类型 额定制冷量（CC)1 2 3整体式 3.30
8、 3.10 2.90CC4500W 3.60 3.40 3.204500WCC7100W 3.50 3.30 3.10分体式7100WCC14000W 3.40 3.20 3.00针对空调系统制的冷能效比，需要特别说明以下两点： 厂家给出的空调系统制冷能效比是在额定的工况条件下测试的，实际工况一般都要比额定工况差很多（包括负载和环境） ，因此空调系统的实际运行的能效比都要比厂家给出的低很多。 针对数据中心的空调系统尤其特殊，一是全年不间断运行，工况差别非常的大；二是温度湿度控制精度高，除湿、加湿、加热、小温差大风量等比一般民用空调系统消耗的附加能量更多。1.1 风冷精密空调这是数据中心最传统的
9、制冷解决方案，单机制冷能力一般都在 50 到 200KW 之间，一3个数据机房一般都是安装多台才能满足需要。下面是风冷精密空调的工作原理图。风冷精密空调一般采用涡旋压缩机制冷（一般安装在精密空调内） ，能效比相对比较低，在北京地区一般在 1.5 到 3 之间（夏天低，冬天高） 。风冷精密空调在大型数据中心中使用存在以下不足： 安装困难。大量的室外冷凝器安装需要非常大的场地，铜管过长不仅影响制冷效率，成本高，安装难度大，而且影响建筑物外观。室外冷凝器的安装位置受空间限制，极可能出现热岛效应，大大降低制冷效率。 在夏天室外温度很高时，制冷能力严重下降甚至保护停机。目前国内的数据中心一般采用对室外冷
10、凝器喷水雾或增加凉棚来改善其在夏天的制冷效果。因此数据中心在设计时不能按其额定的制冷量计算，需要留有足够的冗余。 对于传统多层电信机房，一般把室外冷凝器安装在每层的四周，下层冷凝器的热量将不断向上散发，上层的冷凝器效率将大大降低，热量散不出去，形成严重的热岛效应。据了解，北方某联通数据中心因为热岛效应夏天机房的温度高达 35以上，大约 10%的服务器停机，用户只好运来冰块降温。 精密空调内部风机盘管的工作温度大大低于露点温度，大量产生冷凝水，为了维持数据中心的湿度，需要启动加湿功能。除湿和加湿都要消耗大量的能源。为了加湿，需要将自来水进行软化，即便如此，还需要经常清洗加湿罐中的水垢。1.2 离
11、心式水冷空调系统这是目前新一代大型数据中心的首选方案，其特点是制冷量大并且整个系统的能效比高（一般能效比在 3 到 6 之间） 。4离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高气体的压力，而是依靠动能的变化来提高气体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动气体运动或者使气体得到动能，然后使部分动能转化为压力能从而提高气体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，
12、并在吸汽室的导流作用引导由蒸发器（或中间冷却器）来的制冷剂蒸汽均匀地进入高速旋转的工作轮（工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给气体)。气体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使气体的压力和速度都得到提高。由工作轮出来的气体再进入截面积逐渐扩大的扩压器（因为气体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高气体的压力） 。气体流过扩压器时速度减小，而压力则进一步提高。经扩压器后气体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 水冷冷冻机组的工作原理如下： 冷冻水侧
13、：一般冷冻水回水温度为 12，进入冷冻器与冷媒做热交换后，出水温度为 7。 冷冻水一般通过风机盘管、组合式空调机组或水冷精密空调机向 IT 设备提供冷气。由于数据中心的制冷量大，要求温差小风量大且湿度需要控制，一般采用水冷精密空调机。 冷却水侧：一般冷却水进水温度为 30，进入冷凝器与冷媒做热交换后，出水温度为 35。 冷却水一般使用蒸发式冷却塔通过水蒸发来散热降温。 冷媒侧： 冷媒以低温低压过热状态进入压缩机，经压缩后成为高温高压过热状态冷媒。 高温高压过热状态冷媒进入冷凝器后，将热传给冷却水而凝结成高压中温液态冷媒。高压中温液态冷媒经膨胀装置，成为低压低温液气混合状态冷媒。 低温低压液气混
14、合状态冷媒进入蒸发器后，与冷冻水进行热交换，冷冻水在此处被冷却，而冷媒则因吸收热量而蒸发，之后以低温低压过热蒸气状态进入压缩机。5离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： 单机制冷量大（350 到 35000KW 之间） ，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻 58 倍。 由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 能经济方便的调节制冷量且调节的范围较大。由于热量是通过水的蒸发（在冷却塔中）来散发的
15、，因此夏天室外的高温对其冷却能力影响很小。离心式冷冻机组在小负荷时（一般为满负荷的 20%以下）容易发生喘振，不能正常运转。因此，在数据中心水冷空调系统的设计中一般先安装一台小型的螺杆式水冷机组或风冷水冷机组作为过渡。大型数据中心的水冷空调系统一般由以下五部分组成，示意图如下。 离心式冷冻机组，一般为 N+1 配置，有一台备机，安装在冷站机房。 冷却塔，安装在室外，一般一台冷冻机组对应一组冷却塔（便于维修和保证备机系统正常待机） 。冷却水通过冷却塔来降温，由于水在大气中蒸发，因此要设计安装水处理系6统来除垢、除沙尘、除钠镁离子和病菌等，否则将大大降低制冷效率。另外，由于数据中心是全年连续运行，
16、还要设计冬季防结冰措施。 环形冷冻水管道。由于数据中心需要连续运行，因此冷冻水的进水和回水管道都要设计成环路，大型数据中心可能设计成二级或三级环路，这样在局部冷冻水管道或阀门发生故障时可以关闭相邻的阀门进行在线维护和维修。为了便于日后的维护、维修、更换和扩展，需要安装设计相当多的阀门。为了防止漏水和提高使用寿命，需要选择优质的阀门，有些工程使用优质无缝钢管，甚至不锈钢管。冷冻水管和冷却水管不允许经过机房区域。在水管经过的区域需要设置下水道和漏水报警设备。为了节能和防止冷凝水，冷冻水管和冷却水管都要采取严格的保温措施。典型的冷冻水循环管道回路如下图所示。 水冷精密空调机。其实就是一个温差小风量大
17、的大型风机盘管，一般推荐采用地板下送风和天花板上回风。为了保证 IT 设备的绝对安全和便于设备检修，推荐设置物理上独立的空调设备间，四周做拦水坝，地面做防水处理和设置排水管道，安装漏水报警设备。推荐采用 N+1 或 N+2 的冗余配置方案。 水泵。冷冻水和冷却水的循环都是通过水泵进行的。水泵的节能除采用变频装置外，应采用较大直径的管道、尽量减少管道长度和弯头、采用大半径弯头、减少换热器的压降等。冷冻机房、水泵、冷却塔、板式换热器和精密空调尽量设计安装在相近的高度以减少水泵扬程。由于大型数据中心的水冷空调系统的电力负荷很大，一般需要为水冷空调系统设计独立的配电室。由上述可以看出，水冷空调系统比较
18、复杂，成本也比较高，维护也有难度，但是能满足大型数据中心的冷却和节能要求。2、免费冷却技术和数据中心选址免费冷却（Free Colling）技术指全部或部分使用自然界的免费冷源进行制冷从而减少7压缩机或冷冻机消耗的能量。常见的免费能源有： 中北部地区的冬季甚至春秋季，室外空气中储存大量冷量 部分海域、河流、地下水水温较低，储存大量冷量 部分地区的自来水中也储存了大量冷量 压缩燃气在汽化过程中产生大量冷量目前常用的免费冷源主要是冬季或春秋季的室外空气。因此，如果可能的话，数据中心的选址应该在天气比较寒冷或低温时间比较长的地区。在中国，北方地区都是非常适合采用免费制冷技术。数据中心在环境温度较低的
19、季节，将室外空气经过过滤后直接送入机房作为冷源，也能节省大量能源，称为风冷自然冷却。这种自然冷却方式原理比较简单，成本也比较低，但存在以下不足之处： 要保证空气的洁净度不是一件容易的事。虽然可以通过高质量的过滤网保证空气的洁净度，但由于风量特别大，需要经常清洗更换，同时巨大的阻力也要消耗相当的能源。 湿度不好控制。加湿和除湿都是相当的消耗能源。如果采用简单的工业加湿设备，需要对加湿的水源进行高度净化（成本比较高） ，简单的软化水不能满足要求（对设备有害，长时间会在设备内部形成一层白色物质） 。 温度过低，容易结露并除湿。因此需要进行细致严格的保温处理。 对于大型数据中心，由于距离远，风量特别大
20、，这样就需要很大的风道，风机的电能消耗也非常的大。实际的设计和安装也是很困难的事。 不可能实现全年自然冷却，夏季的制冷方式还需要安装单独的空调设备。因此，在大型数据中心中对自然环境要求较高，因此不推荐使用风冷自然冷却方式。采用水冷空调系统，当室外环境温度较低时，可以关闭制冷机组，采用板式换热器进行换热，称为水冷自然冷却。这样减少了开启冷机的时间，减少大量能源消耗。湿球温度在 4以下时可以满足完全自然冷却，在湿球温度 4 到 10之间可是实现部分自然冷却。在北京，一年内平均有 5 个月左右可以实现完全自然冷却，有 2 个月左右可以实现部分自然冷却。节能效果将是非常明显的。上述介绍的水冷自然冷却由
21、于只需要增加一台不需要动力的板式换热器，投资和占地都比较少，是我们推荐的大型数据中心最佳免费制冷节能方案，系统的原理图如下。8上述带自然冷却水冷空调系统中具有以下三种工作方式： 夏天完全靠冷冻机制冷，通过阀门控制使得板式换热器不工作。 冬天完全自然冷却，冷冻机关闭，通过阀门控制冷冻水和冷却水只通过板式换热器。 春秋季节部分自然冷却。这时冷却水和冷冻水要首先经过板式换热器，然后再经过冷冻机组，阻力要大一些，水泵的扬程在设计时相应要大一些。由于天气在不断的变化，上述三种工作方式也将不断进行转化。为了减轻运维人员的工作和精确控制，所有阀门建议采用电动阀，在空调系统管道若干位置加装可以自动采集数据的温
22、度计、流量计和压力表等，通过一套自动化控制系统全年按最佳参数自动运行。对于大型数据中心，由于制冷量特别的大，同时考虑到降低 N+1 备机的成本，一般采用 2+1、3+1 或 4+1 系统，为了便于检修和提高整个系统的可靠性，推荐蒸发式冷却塔、水泵、板式换热器和冷冻机组一对一配置。3、采用变频电机节约能源我们知道，空调系统的制冷能力和环境密切相关，夏天室外温度越高，制冷能力越低，因此大型数据中心空调系统的制冷量都是按最差（夏天最热）工况设计的（空调的制冷量一般要比其在理想工况下的额定值低，这时建筑物本身不但不散热，反而吸热。 ） 。这样，9全年绝大部分时间空调系统运行在负荷不饱满状态。另外，大型
23、数据中心的 IT 负荷从零到满载也需要相当的时间，一般也在一到三年之间。还有，IT 负载的能耗和网络访问量或运行状态相关，根据其应用的特点，每天 24 小时的能耗都在变化，一年 365 天的能耗也都在变化。比如，游戏服务器在早上的负载和能耗都比较低，但在晚上就比较高；视频服务器在遇到重大事件时的负载和能耗就比较高。因此，我们强烈建议在水冷空调系统中所有电机采用变频系统，这样可以节约大量的能量，其增加的投资一般在一年内节省的电费中就可以收回（基本满负荷情况下） 。要注意的是在选用变频器时，要求谐波系数一般小于 5%，不然将对电网造成不良影响。对于风机和水泵，输入功率和这些设备的转速的三次方成正比
24、。例如，如果风机或水泵的转速为正常转速的 50%，仅需要同一设备运行在 100%额定转速时理论功率的 12.5%。因此，当设备运行在部分负荷时，变速装置的节能潜力十分明显。 变频冷水机组，冷水机组采用变频电机并作相应的特殊设计，节能效果非常明显。根据 YORK 公司提供的文件，其变频冷水机组不仅能大大降低喘震，而且重启时间从一般的 3 到 5 分钟减少到 25 至 50 秒之间。下表是 YORK 公司提供的一台制冷量1000 冷吨的变频冷水机组相对常规定频机组不同负荷的节能效果，负荷越低，节能效果越明显。负荷百分比 定频机组 COP 变频机组 COP 变频机组节能效果100% 5.959 5.
25、850 -1.83%90% 6.458 6.704 3.81%80% 6.877 7.706 12.05%70% 7.218 8.885 23.10%60% 7.534 10.341 37.26%50% 7.779 12.124 55.86%40% 7.402 11.720 58.34%30% 6.354 10.763 69.39%20% 5.409 8.901 64.56%15% 4.807 8.011 66.65%即便是数据中心处于满负荷状态，但由于数据中心的冷水机组需要常年运行，而室外的气温不断变化，对应冷却塔的供水温度也在不断变化，压缩机的工作压头也随之变化，在这种情况下，采用变频驱动
26、的离心机组能够不断的根据压头的变化调节转速，达到节能效果。下表为机组在室内负荷恒定，机组 100%满负荷运行状态下，定频机组与变频机组的节能比较。冷却水温度 定频机组 COP 变频机组 COP 变频机组节能效果32 5.96 5.851 -1.83%31 6.053 6.053 0.00%30 6.224 6.268 0.71%29 6.405 6.488 1.30%1028 6.585 6.724 2.11%27 6.75 6.964 3.17%26 6.936 7.206 3.89%25 7.104 7.435 4.66%24 7.226 7.695 6.49%23 7.435 7.956
27、 7.01%22 7.612 8.178 7.44%21 7.78 8.494 9.18%20 7.938 8.792 10.76%19 8.103 9.087 12.14%18 8.274 9.428 13.95%17 8.433 9.741 15.51%16 8.577 10.048 17.15%15 8.748 10.343 18.23%14 8.903 10.624 19.33%13 9.064 10.955 20.86%12 9.206 11.308 22.83% 变频冷却塔。冷却塔采用变频电机可以在部分负荷和满负荷的不同气象条件下实现节能效果。一般冷却塔的变频电机根据冷却水的温差进
28、行控制，温差一般为 5 度，若高于 5 度，将降低频率减少冷量来降低温差，若低于 5 度，将增加频率加大风量来提高温差。另外，冷却水的温度越低，冷水机组的效率就越高。根据 YORK 公司在网络上公布的材料，冷却水温度每提高一度，冷水机组的效率就要下降 4%左右。因此，在进行冷却塔的变频控制时还要考虑这个因素。 变频水泵。冷却水和冷冻水的水泵由于常年运转，耗能相当的惊人。变频水泵可以在部分负荷时降低水的流速来节能。一般变频水泵的变频电机根据冷却水或冷冻水的温差进行控制，温差一般为 5 度，若高于 5 度，将降低频率减少流量来降低温差，若低于 5 度，将增加频率加大流量来提高温差。为了降低水泵的扬程和能耗，建议冷冻机房、冷却塔和机房的垂直距离越小越好。 水冷精密空调采用调速（EC）风机。调速风机一般根据回风温度控制风机的功率，若回风温度较低，就降低调速风机的功率减少风量，若回风温度较高，就提高调速风机的功率增加风量。根据艾默生公司提供的材料，采用下沉方式安装调速风机还可以进一步节省能耗，对于能够提供 16400CFM（每分钟立方英尺）风量的精密空调设计安装三台风机，采用普通风机、普通 EC 风机和下沉式 EC 风机分别对应的风机功率为 8.6KW、6.9KW 和 5.5KW。
