1、1数据中心评估理念和评估指标创新的分析唐 怀 坤 内容提要：数据中心 PUE 值一直是业界比较关注的指标，本文分析了 PUE 的悖论，分析总结了近期数据中心能耗评估指标的国内外一些前沿理论成果，提出了基于数据中心全生命周期理念、投资经济性理念、黑箱理论为基础的 CPT、EPT 指标计算及测试方法，这些指标方法也符合未来数据中心逐步过渡到“云计算”的指标评估趋势。关键词 ：IDC 数据中心 PUE 节能减排 1、导言：工信部在 2012 年 5 月 4 日公布了通信业十二五发展规划 、 互联网行业十二五规划 ，规划文件明确要求“IDC 空间布局进一步优化，实现技术升级，改造后 IDC 的 PUE
2、 值力争达到 2.0 以下；新建大型云计算数据中心的 PUE 值达到 1.5 以下” ；2012 年 2 月 27 日工业节能十二五规划提出到 2015 年明确要求数据中心 PUE 值下降 8%；国家发改委等组织的“云计算示范工程”也要求示范工程建设的数据中心 PUE 要达到 1.5 以下。但是目前为止并还没有科学的评价机制和测量标准；对于数据中心机房是否仅仅节约运行成本就可以了？什么样的数据中心投资最经济？节能环保水平评价如何落实并通过科学的模型或方法加以标准化？对这些方向的综合考虑是摆在通信电源界的研究课题之一。1 关于 PUE 值1.1 PUE的由来Power Usage Effecti
3、veness,由Green Grid 的Christian Belady 在2006年提出（目前就职于Microsoft）PUE实际是提出的一个衡量能源使用效率的方法，Green Grid中文翻译为“绿色网格组织” ，是一个非盈利性IT组织，它推出了两个知名的衡量能效的标准，分别是PUE和DCiE( data center infrastructure efficiency ， PUE的倒数） 。目前国内较多采用PUE计算公式为：PUE = 数据中心总耗电/IT设备耗电；数据中心的总耗电是维持数据中心正常运行的所有耗电，包括IT设备、制冷设备、供配电系统和其它设施的耗电的总和。如果数据中心所在
4、建筑同时用于办公等其它用途，则办公等所消耗的电能不包括在数据中心总耗电中。在数据中心中，只有IT设备的耗电被认为是2“有意义”的电能。1.2数据中心的规模和评价现状据Gartner统计，我国现有各类数据中心40多万个，数量约占全球13%，2011 年，我国数据中心总耗电量达700亿千瓦时，已经占到全社会用电量的1.5%，相当于2011 年天津市全年的总用电量（引自：数据中心能效测评指南 ） 。根据中国电信节能技术与应用蓝皮书所载， 一般机房内芯片级主设备1 W 的功耗会导致总体耗电量达到 2.68-2.84W，而其中机房空调冷却系统的耗电量约占机房总能耗的 40%。美国电力转换公司 APC 最
5、近的统计数据显示，数据中心的冷却成本大约占总能源账单的 50%。而国际组织 Uptime Institute 指出，由于数据中心机房内气流不适当，用于冷却的冷空气有 60%都浪费了；数据中心的过度冷却（overcooling）差不多达到实际需求的 2 倍，美国一项统计数据称，数据中心的能耗已经占据美国全国能耗的8%。而我国IT业（含IDC机房1.5%）消耗的能源大约占整个能源消耗量的3%，数据中心成本支出最大的是能源消耗，占到总体成本的45%60%，因此出现了像雅虎、惠普、梅林、谷歌等一些国际网络公司这些公司以疏散的服务器间距、不采用空调牺牲空气灰尘和湿度指标而单纯追求达到制冷要求，使其新建的
6、一些节能型、一次性投资型数据中心的PUE值达到1.07-1.2以内，原因是经过测算，IT设备全生命周期内投入空调的运营成本已经接近设备投资成本；而我们国家的大型数据中心机房理念、规范标准、建设模式、电源保障模式相对来说仍然是相对保守的，步伐迈的不够大。序号 机构与数据中心名称 PUE 正式发布/或报道时间1 Facebook Prineville 数据中心 1.073 2011 年 3 月2 雅虎纽约洛克数据中心 1.08 2010 年 9 月 25 日3 google 的比利时 GOOG 数据中心 1.16 2010 年 10 月 15 日4 惠普英国温耶德数据中心 1.16 2011 年
7、2 月 12 日5 微软都柏林数据中心 1.25 2010 年 7 月 1 日6 google 的云计算数据中心 1.28 2010 年7 世纪互联云计算中心 1.3 2010 年 10 月 28 日8 IBM 中国创新中心 1.36 2010 年9 eBay 盐湖郊区数据中心 1.4 2010 年 5 月10 腾讯的天津数据中心 1.5 2010 年11 苏州国科综合数据中心 1.6 2010 年 12 月 4 日3序号 机构与数据中心名称 PUE 正式发布/或报道时间12 微软北京总部的数据中心 1.61 2010 年13 中科院超级计算中心 1.63 2010 年 3 月14 西门子北京
8、数据中心 1.7 2010 年 11 月15 万国数据昆山数据中心 1.8 2010 年 10 月 30 日（引自：2011年科研信息化技术与应用金雅芬 中国科学院数学与系统科学研究院统计数据） 。2 PUE 悖论 虽然 PUE 目的是引导节能减排，建设环保型绿色数据中心，但是实际情况是已经陷入了逻辑悖论，是一个不严谨的理论，以下从 8 个方面分析了业界使用 PUE 这个标准时遇到的问题：（1）虚拟化技术与 PUE 值虚拟化技术是指通过资源池化的方法，将一个物理机划分为多个虚拟机，借此实现对于服务器系统的整合，达到减少企业购买服务器的数量的目的，充分利用服务的 CPU 资源。能够同等服务能力的
9、条件下降低 IT 设备电力消耗大约20%，同等服务能力的条件下页缩小了 20%的机房空间，同时也增加了单机架平均 20%的功耗。此时测定服务器的利用效率反而是科学的。也有采用 SPEC 芯片利用效率测试工具类型的软件来监测 IT 设备的数据处理流量/秒(或数据吞吐量/秒)与 IT 设备的功耗之比的技术。虚拟化减少了设备数量，进而减少了机房空间，加大了设备的功率密度，进而实际增加了 PUE 值。（2）机架疏密度与 PUE 值机架的列间距、机柜的尺寸都直接影响机架的舒密程度。由于数据机房的分区域建设、服务器的分步投资，必然导致基础架构和使用面积的不均衡，机房存在热岛效应的前提下，势必降低出风口温度
10、、提高风速、提高风冷比来达到降温目的，势必带来过度冷却，机房通风地板送风风速按照国家标准要求取值 3m/s，而现实运行中的机房通风地板最好的送风风速也就是 1.5m/s；据Uptime 学会统计目前全球 85以上数据中心机房存在过度制冷的问题。（3）设备功率密度与 PUE 值服务器按照安装类型分为机柜式、机架式和刀片式。现在机房服务器类负荷的最高散热量近年来已攀升至每机柜 20KW 以上，而原有地板下送风机房精密空调系统理想送风状况下的机房单位面积最大供冷量为 4KW/；照整体区域4平均冷却模式设计的机房空调环境如应用于高热密度或高散热量的负荷就无法避免地采用了过度冷却方式，导致机房能耗超高；
11、举个例子：某数据机房，常规热密度机房总热负荷 367kW；采用常规机柜3kW/单机柜，机柜数量 123 个，机房面积 500m2；采用高功率密度设备，3.2KW*40 个、12KW*20 个后，机房面积从 500m2减小到 176.8m2，节省近 65%机房面积。同样的设备热负荷，但是实际情况是 PUE 值却增加了 15%。（4）主机业务量处理能力与 PUE 值主机服务器机型 ARM 和 X86 单位功耗的由于后端子模块的门控时钟和电源开关、前端乱序执行能力；软件和制造工艺差别很大，但处理能力较相近，也就是说数据设备的相对功耗下降，机房面积和制冷空间不变的情况下有可能PUE 值提高了。（5）不
12、同建设模式、机房发展速度与 PUE 值仓储集装箱式、微模块式和钢混框架结构的 IDC 机房建设模式显然也有差异，通常前者 PUE 值低，见效快、投资分布实施比较合理而后者往往在制冷上要考虑较多围护结构的因素和对空气冷却的因素，因此 PUE 相差很大，但很难说后者的数据机房是低效不环保；在机房发展速度上，同样建设模式和实用面积，发展速度不同但基础配套比如空调冷水机组仍然是在使用的，并不是成线性变化。（6）动态和静态 PUE 值纬度 23 度 26 分以外的冬季的 IDC 机房可以利用自然风冷技术使 PUE 值接近 1.2，而夏季天气炎热时 IDC 机房 PUE 值有可能依然为 1.5 以上。最高
13、 PUE值、平均 PUE 值和最低 PUE 值之间是动态变化的。而市场上往往没有统一标准是年度平均静态 PUE 指标还是某一动态时间点的静态 PUE 值。（7）辅助设施与 PUE 值现代新建数据中心大多数采用能效比较高的水冷型空调机组，相比较传统单体式风冷空调系统，其主机容量较大，而数据中心机房的启用通常是分期、分楼层开展，尤其是北方还有水管防冻设备的能耗；另外，变压器损耗、线损、公共照明、水泵等设备都是保障数据中心正常运行必不可少的组成部分。（8）测量基准点5IT 设备自身也有 AC/DC/DC 三级转换模块，其自身在电压转换的过程中也有能量损耗；甚至有的设备直接采用机架式 EPS 电源，输
14、入 IT 设备的能耗测量点更不好取舍。因此测量基准点的不确定也使 PUE 是一个不严谨的指标。总之，数据中心节能途径：通过选址自然冷源节能、基础配套设施节能、通过 IT 主设备新技术新工艺节能、云计算虚拟化技术节能等多个方面组合节能技术，而 PUE 没有充分考虑后两者的节能途径。就使不同数据中心可比性下降，但是现在招投标、施工验收、数据机房评等级等都拿 PUE 来设置门槛其实是不合理的。经过总结发现：PUE 值 1.5 以下的数据中心特点之一：（1） 不用空调；完全采用自然了冷却；采用雾化水：（2） 风冷+水冷型冷水机组：（3） 仓储式数据中心：PUE最终落实到空调的能效比和机房气流组织设计仿
15、真和应用，也就是CFD(Computational Fluid Dynamics，计算流体动力学)仿真，最后 PUE=CFD。因此，PUE 比较适合对机房所有设备机架装机容量满载情况下的模糊“动态测评” ，因为即使是现有数据中心也有可能出现新旧服务器的替换、机房的改造。但相对来说这种数据机房使用比较稳定；另一种适用场景是新建机房业务需求已明确，设备已一次性安装完毕、机架装机率接近 100%，极少存在扩容和替换，此时比较适用。但是基本上这是不可能的。悖论有三种主要形式。 （1）一种论断看起来好像肯定错了，但实际上却是对的（佯谬） 。 （2）一种论断看起来好像肯定是对的，但实际上却错了（似是而非的
16、理论） 。 （3）一系列推理看起来好像无法打破，可是却导致逻辑上自相矛盾。持 PUE 适用于所有数据中心场景的观点就属于第（2）种悖论形式。3、PUE 值的发展和努力3.1 行业人士观点：1）KPMG 公司气候变化与持续服务实践负责人 John Hickox 指出，虽然其能够帮助你将自己的 PUE 值与行业平均值进行对比，但是许多公司错误的将它6们理解为比较基准，因为没有两个数据中心是一样的；2）市场研究公司 Gartner 的分析师 Simon Mingay 称“PUE 还无法帮助监测所供应的电力的有效使用情况。例如，如果数据中心经理开始使用虚拟化来提高平均服务器利用率，那么相应的效率提升并
17、不能反映在 PUE 上” 。3）绿色网格组织董事会成员兼秘书长 Katherine Winkler 认为“PUE 并不是一个通用指标，目前仍在改进中” 。4）PUE之父Christian Belady说：“我并不在意你的PUE是1.25还是1.5。只要你在关注这个问题，同时又在不断取得进步就足够了。 ”实际上他本人也认为这个指标不应该被滥用。3.2 CADE 指标CADE（Enterprise average data center efficiency） ， “企业平均数据中心效率” ，由国际正常运行时间协会(Uptime Institute)和麦肯锡咨询公司共同制订， 数据中心平均效率（C
18、ADE）=IT资产利用率（AE）设备效率（FE）=IT 能源效率IT利用率（ITutlization） 设备能源效率设备利用率3.3 绿色网格（Green Grid）提出的新指标基于 PUE 评价标准的缺陷，Green Grid 近期也公布了 CUE (碳使用效率)、WUE(水使用效率)、DCeP(数据中心能源生产力)等三个新的衡量指标。CUE 旨在衡量数据中心的碳排放量。CUE 值的计算方法为测量数据中心总的 CO2排放量（当量值） ，然后除以 IT 设备的能耗。WUE 也是一个相对较新的指标，用于衡量 IT 的用水情况。WUE 值计算方式与 CUE 值相似，为设施总用水量除以 IT 设备能
19、耗。绿色网格组织也试图通过 DCeP 来量化数据中心做的有用功与数据中心总能耗的比例；3.4 数据中心 PUE 值测量标准和评价参考指南工信部电信研究院 2012 年 4 月份公布了数据中心能效测评指南也注意了到了 PUE 以上问题，在第五节“能效指标的发布要求”特别提出 9 个方面的备注信息:提示是在特定城市、特定时间段、特定用电规模、特定机架功率密度、特定建筑形式、特定机架安装率、特定用途、特定供电和制冷方式、是否采用7了间接估算等方面；但是不得不提出是这么多约定因素实际上使数据中心在横向比较上没有可比性，而数据中心建设运营市场和评价标准上恰恰需要 1 个客观公正的统一标准。4、数据中心建
20、设运营效率评估理念4.1 数据中心全生命周期的理念从项目阶段上，项目咨询分析、报批立项、项目可研、规划、设计、土建配套实施、系统集成、运营管理维护、后评估、升级改造等数据中心全生命周期兼顾统筹。需要统筹短期目标和长期目标。要统筹考虑数据中心各项能耗，显然不能仅仅只关注电费。4.2 数据中心投资最优的理念数据中心的投资分为初期 CAPEX 投资和后期 OPEX 投资，两者是互动的关系，能效分析在很大程度上是 OPEX 投资分析，但是数据中心的投资运营方实际关注的是整体投资成本的把控、单位投资成本的业务服务能力的评估结论。即使数据中心节能很好，但是由于地处偏远电力输送成本高、运输成本高总体也是不经
21、济的。很多运营商的数据中心建完投入运营每年都基本不盈或盈利微弱很大，很大一方面是出租型的边际成本过高的原因。 （注：业务服务能力business service capabilities,简称 BSC）,abc 所夹阴影区域的投资是最优的投资区域，这也就可以解释为什么数据中心采用模块化分批投资是最优的模式。模块化投资类型包含：集装箱模块、微模块、以及大型数据中心产业园模块化，以国内某运营商内蒙榆林地区某云计算产业园为例，建议采用模块化建设模式，否则会造成成本大大浪费，表面看利用自然冷源和当地便宜的电价取得了很大优势，但投资仍然存在很大浪费。84.3 数据中心能耗评估黑箱子理念实际上，数据中心评
22、估越通俗易懂、越容易测量、越能反映数据中心实际情况就越普及，根据数据中心每个环节进行复杂的计算公式是不现实的，而且也是没必要的。IT 设备的节能与配套设施的节能是互相促进的博弈过程，因此需要跳出；例如云计算在通过虚拟化技术节省服务器数量的同时也加大了功率密度，此时就陷入 PUE 悖论。打个比方说数据中心就是一个箱子，所有的成本都在这个箱子里，输入流量为客户端设备通过网络请求数据，输出流量为数据中心通过内部计算输出数据提供服务。4.4 趋势：数据中心=云计算数据中心运营模式将逐步经历机架位出租、带宽出租与运营支撑、云计算流量收费三个阶段。今后的云计算数据中心就像自来水一样，按需提供，按流量收费，
23、而不是目前的按出租标准网络机架的机架位收费。未来数据中心就是“云计算”的载体，信息越来越趋于集中、资源越来越趋于协同工作、个人的智能终端的普及需要软件平台和资源的管理。云计算在数据中心业务中的比例将逐年上升。虽然各个行业云计算发展参差不齐，有的数据中心云计算利用率为 10%20%，有的如微软的上海数据中心、亚马逊数据中心则高达 90%以上。国外发达国家正逐步通过云计算压缩传统 IDC 机房规模：BSC CAPEXOPEXBSCCAPITAL数据中心输入流量 TByte 输出流量 TByteabc9美国奥巴马政府计划在 2015 年之前将目前政府的 2100 个数据中心至少削减掉800 个，同时
24、还要求各级政府将部分工作转移到商用、个人以及政府用云计算系统上。相对国外发达国家，我们国家“云计算”发展炒作和务实并存，这很大方面跟经济发展理念、 “云计算”网络安全技术发展、网络内部技术协同有关，另一方面跟以客户端软件开发为中心的应用也有关。但根据 IDC 统计与预测，国内“云计算”产业的仍然以每年 15%的复合增长率发展。5 评价标准5.1 面向投资者的参考标准单位服务能力的投资成本=（CAPEX+OPEX）/信息流量（Tbyte） 。CPT：Capital of per Tbyte5.2面向国家能耗考核的参考标准单位信息流量综合能耗指标（EPT）=标准煤（tce）/信息流量（TByte）
25、 。EPT:energy of per Tbyte5.3 计算、检测方法CPT 的标准可以通过财务统计实现；也可以分开单独核算，通过统计规划机房的对外传输带宽匹配度来单独估算 CAPEX 的流量效益。EPT 标准采用标准煤或者也可以采用标准油，而且之间可以相互换算。综述：对数据中心的评价要从数据机房信息服务能力的角度来评价，屏蔽掉不确定因素，基于信息流量的投资、能耗的评估可以改进 PUE 值评价的不足，希望能对业内评估指标的完善提供参考。参考文献：（1） 数据中心能效测评指南 ，工信部电信研究院，2011 年 4 月（2） 新一代的数据中心应当如何建设？关于绿色IT的思考金雅芬 中国科学院数学与系统科学研究院， 科研信息化技术与应用 第2卷第3期 2011年5月10（3） 通信运营商节能减排评价指标探讨 ；李新华，方俊利，吕威； 邮电设计技术2011年9月刊。（4） 服务器运行效率决定数据中心“颜色”赛迪网论文作者：唐怀坤 工作单位：江苏省邮电规划设计院有限责任公司通信地址：江苏省南京市中山南路 371 号 邮编：210006
