|
作者注：《2018中国超大规模云数据中心考察报告》连载第二章，约12500字，是内容最多的一个章节，可能需要加入收藏分次阅读。 “开源节流”，减少在制冷过程中消耗的电能，是降低数据中心PUE的主要手段：开源是指充分利用自然冷源，尽量减少机械制冷的工作时间；节流则是缩短制冷路径，降低冷量在传输过程中的损耗。水侧自然冷是广为国内数据中心采用的制冷架构，但是间接蒸发制冷大有后来居上之势。 PUE值是衡量数据中心能效高低的一个关键指标，对于数据中心拥有者，尤其是拥有超大规模数据中心的巨头们而言，PUE值的降低，不仅意味着运营成本的节省，同时还是企业承担社会责任的体现。节能减排是全球的共同行动，作为负责任的大国之一——中国此前承诺，到2020年将减少40%～50%（相比2005年）的碳排放量。而具体到耗电量巨大的数据中心行业，各省市都有相关文件加以限制，比如北京规定新建和扩建数据中心的PUE值必须从之前的1.5以下降到1.4以下，而上海新建数据中心的PUE值必须在1.3以下。 PUE（Power Usage Effectiveness，电源使用效率），是一个用来确定数据中心能源效率的度量方法。PUE是用进入数据中心的总电量除以用于运行数据中心中计算机等IT设备所用的电量得出的。因此，PUE以比值的形式表示，这个商数越接近于1，就表示整体效率越高。数据中心基础设施效率（Data Center Infrastructure Efficiency，DCIE）是电源使用效率的倒数，以百分比的形式表示，这个比率越接近100％，则表示整体效率越高。PUE最初由绿色网格组织提出，在2016年被公布为ISO/IEC下属的全球标准。 要降低PUE，就必须正确理解PUE值的构成：数据中心的总耗电量与IT设备耗电量的比值。降低PUE值的实质就是尽可能地降低分子，即数据中心的总耗电量。减去IT侧的耗电量，数据中心基础设施侧（风火水电）的能耗，大部分用在制冷环节，如冷机、空调等制冷设备。 所以，减少制冷过程中消耗的电能是降低PUE的主要手段。具体来说，就是充分利用自然冷源，尽量减少机械制冷的工作时间，甚至干脆无冷机；同时缩短制冷路径，降低冷量在传输过程中的损耗。两种手段相结合，正所谓“开源节流”。 2018年数字中国万里行暨北方区数据中心之旅参观的八大数据中心，全部结合自身所处的环境，不同程度的利用了自然冷源，并综合使用多种技术降低传输损耗，有多个数据中心的年均PUE在1.3以下，甚至达到1.1。 起点：水侧自然冷 微模块 腾讯天津数据中心是2018年数字中国万里行暨北方区数据中心之旅的起点，也是此行参观的历史最为悠久的数据中心。 作为腾讯第一个全自建超大规模数据中心，腾讯天津数据中心在百度地图上的全称是“腾讯天津研发与数据存储中心”，高德地图上则是“腾讯数据备份中心”。实际上，腾讯天津数据中心现在可以承载腾讯的所有类型业务，包括自研的业务和腾讯云的业务，后者占比已达二三成。 腾讯天津数据中心坐落在天津市滨海新区，与北京几乎在同一纬度，年均气温12~15℃，冬季前后可以比较充分的使用自然冷源。 天津2018全年12个月平均气温统计（数据来源：天气网） 腾讯天津数据中心的建设从2008年启动，2010年10月封顶，2018年5月宣布成为国内第一个单园区服务器数量突破10万台的数据中心。总建筑面积约9.3万平方米，由4栋楼组成，从主入口处逆时针排序，2号楼造型较为与众不同，是综合办公楼，另外3栋是机房楼，都是地下一层、地上三层的设计。 高楼环抱中的腾讯天津数据中心园区，可以看到位于1号楼和2号楼之间的蓄冷罐（属于前者），右边的3号楼最大，容量接近1号楼与4号楼之和 1号楼于2010年年底投产，属于腾讯第二代数据中心，即传统的地板下送风与封闭冷通道技术相结合；3、4号楼分别于2014年和2017年投产，采用腾讯第三代数据中心技术——腾讯模块化数据中心（Tencent Modular Data Center， TMDC）技术，即将制冷、供电以及网络、布线等设备重新设计，融入到微模块内，工厂预制，现场拼装部署，不仅能够缩短部署周期，同时还可以降低出错率。 腾讯天津数据中心机房里的微模块，上面走线，下面走水（图源：腾讯数据中心） 腾讯模块化数据中心技术，指完全按照模块化设计思路搭建的可快速部署的数据中心模型，数据中心内部由多个完全相同的微模块（Micro Module）组成；微模块则是以若干机架为基本单位，其间包含制冷模块、供配电模块以及网络、布线、监控在内的可独立运行单元，全部组件均在工厂预制，运输到现场组装，并可灵活拆卸。TMDC以微模块为最小独立单元进行预制、部署，由框架及机柜、电源头柜、高压直流系统和列间精密空调四部分组成。TMDC的总功率上限是120KW，平均到每个MDC内部机柜的功率是6.5KW，但实际上每个机柜的功率可以灵活调整，只要保证整个MDC的总功率不超过上限即可。 腾讯天津数据中心采用水侧自然冷路线，3栋机房楼的一层安装制冷、换热设备和复杂的水循环管路（还有市电接入和柴油发电机），地下一层是冷冻水的蓄水池，供楼顶安装的冷却塔使用（每天蒸发需要数十吨水），二、三层布置服务器机架等IT设备及电、冷支持系统。 3号楼的制冷架构更为简洁（图源：腾讯数据中心） 分期建设的数据中心，通常会在具体的技术实现上有不同程度的迭代。相比1号楼，从3号楼开始取消了冷水系统中的蓄冷罐，同时将BA系统变成了器材并联，整体的可靠性和冗余性更高。蓄冷罐为机房空调系统储存冷冻水，是一种备用冷源，但是应急排风系统在冬季的时候也可以起到备份冷源的作用，而且三号楼一共7台冷机，也以6 1的配置作为备份。 楼顶的冷却塔及输水管路（图源：腾讯数据中心） 取消蓄冷罐简化了水系统，去掉了不必要的冗余。制冷路径上的另一个主要变化发生在机房里，冷冻水被直接送到微模块中的末端列间空调，（到服务器的）送风距离比1号楼机房空调、地板下送风的方式更短，这种行间制冷技术可为数据中心节能超过4%，也是TMDC的优势之一。 通过综合采用两种制冷系统（通道封闭5%～10%，行间制冷>4%）和两种供电架构（HVDC 市电直供8%，配电架构4%）上的改进，TMDC可综合节能约24%。腾讯提供的测试数据表明：3号楼的PUE比1号楼降低0.16～0.22，冬季最低可达1.2，夏季的最高值也只是与1号楼冬季的最低值相当，节能效果显著。 得益于天津偏冷的自然气候，腾讯天津数据中心采用水侧自然冷进行制冷，在冬季开启节约模式，关闭冷机，采用室外自然冷源为服务器供冷，因此PUE有一个明显的下降过程，即使是采用传统地板下送风技术构建的1号楼，其PUE也下降到1.3～1.4之间，年均值可低于1.5；而采用腾讯模块化数据中心技术的3号楼，其PUE可低至1.2，年均值低于1.3。合理利用优越的自然冷源能够大幅降低数据中心的PUE。与天津相隔不远，离北京更近的华为云（廊坊）数据中心在一定程度上，也采用类似的水侧自然冷架构来为数据中心供冷（图源：腾讯数据中心） PUE的降低意味着功耗的节省，以腾讯天津数据中心为例，如果服务器平均功耗约400W，那么10万台服务器一年的用电量就是3.5亿度。如果PUE为1.5，那么每年的用电量高达5.25亿度，而如果将PUE降到1.2，每年便可以节约超过1亿度电。在动辄上亿的开销下，哪怕“只是”1%的效率改善，也意味着成百上千万的成本节省。 腾讯微模块中的制冷系统示意图（图源：腾讯数据中心） 众所周知，京津地区的空气质量不佳，这对数据中心的制冷方案也有一定的影响。天津数据中心1号楼曾部分尝试过自然空气冷却，由于空气含硫量比较高，项目被迫放弃。因此，以水为中间介质的水侧自然冷架构确实比较适合京津地区的数据中心，譬如华为云廊坊数据中心也采用了水侧自然冷 微模块数据中心的技术路线。 廊坊地处京津之间，离北京城区的位置仅比亦庄略远，而土地和电力供应更有优势，因此成为堪比亦庄、望京的数据中心集中地，三大运营商都在此设有数据中心。在自建或定制数据中心之前，京东和字节跳动也以廊坊为主要的数据中心基地。 中国移动（河北廊坊）数据中心于2017年4月开工，一期工程可容纳8000个机架，原定2018年7月交付，因进入夏季经常暴雨导致停工，数字中国万里行团队此行参观时尚未完工，但已有部分机架安装到位，以满足先期交付4000架的任务，需求之旺盛可见一斑。 华为云（廊坊）数据中心位于河北省廊坊市的华为廊坊生产基地园区内，比三大运营商（在廊坊）的数据中心都更靠近北京城区，“距离北京市仅有1公里”。一期已交付投运4500台8KW机柜，约9万台服务器，建筑面积达5.4万平方米。园区规划700亩预留地，按递增趋势可逐年交付共5万台8KW机柜，最终可承载约100多万台服务器。 华为廊坊生产基地园区，正前方的深灰顶建筑即华为云（廊坊）数据中心，右侧另一座类似建筑为实验室数据中心。左侧和左前方的绿地为园区规划的数据中心预留地 华为云（廊坊）数据中心一期是一栋两层建筑，由厂房改建而来，所以层高较高：一层高9米，用于安装基础设施，如配电机房、制冷机房等；二层高6米，主要是数据中心IT机房和支撑设备。楼顶是冷却塔，柴油发电机也位于室外，部分采用双层部署。 由于地理位置相邻，廊坊的气候条件与北京较为接近，全年可利用自然冷源的时间较长。华为云（廊坊）数据中心一期采用水侧自然冷路线，基于AI算法的精细化能效优化提升冷冻水制冷能效30%，结合中温冷冻水（13/18℃），提高冷冻机运行效率，增加自然冷却时间，完全利用免费制冷的时长在半年以上，加上部分利用免费制冷的时长，可以接近8个月。
在城市核心区，将旧厂房改造为数据中心是颇为常见的现象，最典型的例子就是北京的望京区域。厂房通常层高较高、开间较大而层数不多，且有较充足的电力供应，这些都是数据中心所需要的。华为云廊坊数据中心采用集成了供电和空调末端的微模块机房，进一步降低了改造的工作量。 华为的仓储式微模块不仅封闭了冷通道，还封闭了热通道，并集成了气体消防系统。冷热通道均封闭，比只封闭冷通道，节能约5%，关键是微模块就成为一个相对独立的机房防护区，从整个建筑的大开间隔离出来，与后者的水消防系统互不影响，更不破坏原始建筑的结构。 风水风水，数据中心的制冷系统，最普遍的介质就是风和水。中国位于城市核心区的数据中心，普遍采用水系统作为中介层，水将内外部空气隔离，可以避免机房内部设备受户外空气质量不良的影响。北方地区，延伸到上海一带，还在水侧引入了自然冷，至少冬季可以享受免费制冷（Free Cooling）。
京东云华东数据中心采用封闭冷通道、地板下送风架构的IT模块 2018年数字中国万里行暨北方区数据中心之旅共参观了10个数据中心，除了腾讯天津、华为云廊坊、秦淮望京数据中心，中国联通呼和浩特、中国移动中卫和廊坊、京东云华东数据中心也都采用了（外部）水侧自然冷、（内部）封闭冷通道的架构，且普遍支持微模块技术，主要区别在于选择列间空调或地板下送风。只有秦淮望京数据中心与天津腾讯数据中心1号楼类似，封闭冷通道结合地板下送风，仅网络超核等高功率密度模块使用列间空调。 微模块配合行间制冷的主要优势在于，使用列间精密空调靠近热源，可以缩短冷气流路径，减少冷量在传输过程中的损耗，提高制冷效率，从而降低PUE。如果连热通道一起封闭，则气流只是在微模块空间内循环，对建筑的要求进一步降低。 地板下送风方式在地板下构建起一个冷池，加大地板高度可以增大这个冷池的容量，譬如架空地板加高到1米，就比800mm或650mm高度更能应对短时制冷系统故障。加大冷通道宽度则可以匹配较高的功率密度，譬如秦淮数据望京数据中心的冷通道就有两块地板和三块地板的宽度之分。
秦淮望京数据中心不同宽度的冷通道（地板的标准尺寸为600×600mm），可以对比下机柜上服务器的堆放密度 行间制冷不仅缩短了气流路径，也可根据IT设备负载进行精确制冷，所以微模块可以灵活适应不同的功率密度需求。在供电能力足够的前提下，可以通过增加列间空调的数量升级为更高功率的微模块。腾讯的策略是一个微模块内可以有不同功率密度的机柜共存，但微模块的总功率不超过限定值。秦淮数据望京数据中心也在网络核心模块增加了列间空调，以应对较高的功率密度，消除局部热点。
较为典型的水侧自然冷架构多层数据中心，水系统的核心部件分别位于最高处（楼顶冷却塔）和最底层（冷机 板换） 水侧自然冷系统的架构已经非常成熟，同时也非常复杂：冷却水在设于室外（通常在楼顶）的冷却塔被外部空气所冷却，通过冷却水管路进入冷站，经由板式换热器（板换）与冷冻水交换热量，降温后的冷冻水再通过冷冻水管路进入机房空调，送出冷风到服务器。如果是夏季或其他温度较高的季节，还需要开动冷水机组（冷机）补冷。此外，冷却水系统需要蓄水池，冷冻水系统也有蓄冷罐。
新风自然冷与直接蒸发制冷 如果不用水作为中间的热传递介质，直接把户外的冷空气引入机房，就可以去掉包括冷却塔、板换、冷机、冷却水和冷冻水管路在内的水系统，显著缩短制冷路径，大幅降低制冷系统的复杂度。
如果让室外的冷空气直接进入机房，或者与机房内的空气进行热交换，就可以去掉包括冷机在内的复杂的水系统，极大的简化制冷架构（图源：深圳市英维克科技股份有限公司） 在空气质量较好的区域，可以采用新风自然冷（Fresh Air Cooling）的架构。所谓“空气质量”，主要从温度、湿度和洁净度三个角度来衡量。 在低温、干燥、较少空气污染的地区，可以将空气经过简单的过滤，直接送入数据中心，进入机房冷却服务器等IT设备。在气候条件适宜的地区，冬季、夜间乃至全年的大部分时间，都可以使用新风自然冷。 进入夏季、中午前后或其他因素导致户外空气温度较高，不能满足机房制冷条件，但空气仍较为干燥的情况下，可以利用干湿球温度差的原理，向空气中喷入水雾，利用水分蒸发吸收大量的热能，空气湿度升高的同时温度降低，再把这种湿球温度较低的空气“直接”送入机房供IT设备散热，就是直接蒸发制冷技术。 Facebook自建的数据中心广泛采用直接蒸发制冷架构，其2011年投产的首个自建数据中心位于美国俄勒冈（Oregon）州普赖恩维尔（Prineville），充分利用当地气候干燥的自然条件，年均PUE可低至1.07，是全球最节能的超大规模数据中心之一。
Facebook普莱恩维尔数据中心内的直接蒸发冷却制冷系统示意图：Prineville地处俄勒冈州中部地区，气候干燥，夏季最高温度可达40℃，但此数据中心并没有冷机等设备，而完全使用直接蒸发制冷。整个数据中心为二层建筑，一层用以放置IT以及相关配套设备，二层则为直接蒸发冷却喷雾型制冷系统。（图源：Data Center Knowledge） 一般而言，干球温度越高，干湿球温度差越大，蒸发冷却能力越强。不过，空气的相对湿度提升显然是有限度的：2011年夏天，Facebook的Prineville数据中心投入使用不久，因建筑控制系统错误的输送了富含水分（相对湿度95%）的冷空气（80℉，约26.7℃），导致很多服务器遇湿重启，或者因电线短路而自动关机。后来，Facebook取消了将Prineville数据中心二期的相对湿度和温升进一步提高的计划。 所以，直接蒸发制冷系统可以配备直膨式（Direct Expansion，DX）空调机组，在外部空气温湿度过高时补充冷量，譬如Facebook位于爱荷华（Iowa）州Forest City的数据中心就增加了DX冷却盘管，以应对“50年不遇”的极端天气状况。
与传统的数据中心制冷方式（上）相比，Facebook的数据中心去掉了冷机（Chiller）和进出数据中心的水（风）管路系统，虽然下图看起来似乎更为复杂的样子（图源：Facebook） 当外部空气温度过低的时候，进入数据中心的冷空气可以与机房出来的热空气按一定比例混合（混风），再以适宜的温度送入机房。
Facebook Prineville数据中心一期项目的气流组织 新风自然冷和直接蒸发制冷架构要求数据中心建筑设计服从气流组织的要求，譬如Facebook的数据中心就把冷却系统布置在二层（或曰“阁楼”层），外部空气先经过垂直排水百叶进入二层制冷系统：
先行一步的雅虎则更彻底的将整个数据中心建筑视为空气处理器。Yahoo! Compute Coop简称Y!CC或YCC，借鉴了“鸡舍”（chicken coop）的设计，冷空气从建筑侧壁上可调节的百叶窗吸入，经服务器等IT设备加热之后，通过自然对流，上升至建筑顶部凸起的阁楼，由其两侧可调节的百叶窗排出室外。外部气温过高就启用蒸发制冷，过低则通过顶棚两侧的可调节百叶窗回到进风区混风。
雅虎“鸡舍”专利的示意图（来源：Data Center Dynamics） 雅虎在纽约州西部城市Lockport建设的数据中心实践了“鸡舍”理念，据称全年99%的时间采用新风自然冷，其他时间使用（直接）蒸发制冷，设计PUE低至1.08，与采用常规水冷式制冷设备的设计相比，年节水约3600万加仑（约13.6万吨，超过最大航母的排水量）。
Cape Codder鸡舍（左）与雅虎“鸡舍”数据中心（右）最明显的共同点就是中间凸起的阁楼及其侧面的百叶窗 美国能源部（DoE）在2010年将YCC评为最佳节能设计，通过其绿色IT计划授予雅虎990万美元的可持续性拨款。2011年1月13日，美国专利局授予雅虎专利号20110009047A1——“用于服务器农场冷却系统的基于集成建筑的空气处理器”（Integrated Building Based Air Handler for Server Farm Cooling System）。 回到此次万里行参观的数据中心，百度云计算（阳泉）中心在部分机房模组部署了直接蒸发制冷系统，但在直接蒸发制冷的技术路线上投入最大的当属阿里巴巴。位于张北的阿里云北京冬奥云数据中心，在2号园区的一期工程中采用了“鸡舍”风格的设计。建筑为两层结构，一层高7.5米，布置机电设备；二层高9米，为热空气的上升留出充分空间，是国内较为少见的二层（机房层）比一层（设备层）还高的数据中心。楼顶凸起的长条状阁楼式区域两侧密布百叶窗，是典型的鸡舍结构特征。
阿里云张北数据中心2号园区一期工程顶部阁楼式区域内部，注意左右两侧的百叶窗，还有顶部的轻钢结构（图源：阿里巴巴集团） 张北地区气温低、空气干燥且污染较少，适合部署新风自然冷和直接蒸发制冷系统。上述优势部分来自1400多米海拔：海拔每上升1000米，温度大约下降6℃，所以张北气温至少比北京低8℃，年最低气温可达-38℃（零下38摄氏度）。 由于海拔较高，张北的风也大，远处的雾霾过不来。张北是国家级贫困县，无重工业，意味着本地较少污染源，空气质量不错。空气好与温度低相结合，全年有346天可以采用新风制冷。
阿里张北2号园区一期工程，具有鸡舍结构特征的2座机房楼，中间通过冷站连接，注意冷站侧面的4个蓄冷罐 尽管如此，阿里巴巴在张北一期工程中仍然比较谨慎，2号园区的两座机房楼中，只有一座的部分机房采用了新风自然冷的设计，除了支持混风，还可以封闭内循环，以防出现沙尘等天气。把两栋平行建设的机房楼连接成“工”字形布局的是中间的冷站，顶置冷却塔，侧面蓄冷罐，构成完整的水侧自然冷系统，为其他机房提供冷源。 1号园区（一期工程）更是全面采用水侧自然冷架构，冷站与两层的机房楼通过架空的管路连接。不过，得益于张北优越的自然条件和运维优化，一年中最热的季节，一期工程的实时PUE也不超过1.30，年均PUE更低至1.20。
阿里云张北数据中心1号园区二期工程，既可以看到建筑风格类似鸡舍等直接蒸发制冷的特征，又可以看到冷却塔和蓄冷罐等水侧自然冷的痕迹。目的都是一个：充分利用自然冷源，即使增加建设成本（CapEx），也要节省运营成本（OpEx） 经过一期工程对新风过滤、加湿等技术的验证，从二期工程开始，两个园区大面积的采用了直接蒸发制冷架构，但从外面的观察来看，也还保留了蓄冷罐、冷却塔等设施，以应对不理想的天气状况。 方向：间接蒸发制冷 新风自然冷和直接蒸发制冷技术都要将外部空气引入数据中心内部，所以对空气质量要求较高，特别是洁净度和相对湿度，因为空气中的污染物和水汽都可能对设备造成损害。在人口密集区等空气质量不能满足直接蒸发制冷要求的环境中，可以使用间接蒸发制冷技术，外部空气经过蒸发过程降低（湿球）温度之后，并不进入数据中心，而是通过换热器与数据中心内部的热空气交换热量，既达到利用外部自然冷源的目的，又保证了数据中心内、外部空气的隔离。
间接蒸发制冷技术原理：数据中心内回风从左侧进入间接蒸发制冷设备，外部冷风则从底部进入，两者的流动方向形成“十”字交叉，通过换热芯体换热，外部冷空气升温后从顶部排出，经过降温的室内空气则送回数据中心内部，由此不断循环。此设备中还集成了4、6、7、9组成的DX系统，用于机械补充制冷（图源：深圳市英维克科技股份有限公司） 可以看到，在蒸发制冷这一环节，间接与直接的核心技术原理是一样的，只是空气不进机房，通过“空-空”（而不用经过“水-水”）换热来冷却机房内部的空气。从宏观的角度，可以认为间接蒸发制冷结合了直接蒸发制冷中的水分蒸发为空气降温，以及水侧自然冷系统中冷却水与冷冻水的换热过程——当然，换热的主角换成了空气，因而和直接蒸发制冷一样，去除了包括冷机、水管在内的复杂的水系统，也去掉了空调末端（室内机）。不过，毕竟是多了一个换热过程，间接蒸发制冷的效率还是略低于直接蒸发制冷，对PUE有一定的不利影响。
侧面安装是间接蒸发冷却模块最为简便的部署方式，红色箭头为机房热回风路线，蓝色箭头为冷却后的送风路线。室外空气的路线经过换热芯体与室内空气交叉，此处略去不表，下同（图源：深圳市英维克科技股份有限公司） 与直接蒸发制冷相比，间接蒸发制冷最大的区别是内外部空气只换热而不接触，所以没有混风模式，但外部空气直接交换不蒸发的“干模式”、蒸发冷却制冷的“湿模式”和机械补充制冷的复合模式，两者都有直接对应的关系。
间接蒸发制冷的三种工作模式（100%负荷。图源：深圳市英维克科技股份有限公司） 腾讯在2016年推出的第四代数据中心T-Block开始小规模实验间接蒸发制冷技术，国内较早的大规模间接蒸发制冷技术应用当属2017年建设并投产的字节跳动（ByteDance，旗下产品包括今日头条和抖音）怀来数据中心。
2018年8月8日下午的字节跳动怀来数据中心：已建好的“工”字形建筑为一期工程，共4个机房模块；二期工程（在建，部分完工）为“王”字形，增加到6个机房模块。二者中间的一竖为机电和办公区域，机房模块两侧、红色墙体半包围的形似集装箱设备即为间接蒸发冷却模块 字节跳动怀来数据中心位于怀来官厅湖新媒体大数据产业基地，由秦淮数据定制，一期工程从正式开工建设到整体交付验收只用了7个月，二期工程进一步缩短到6个半月。这是国内首个采用大平层预制框架结构的数据中心，年均PUE为1.25，均可归因于间接蒸发自然冷却模块的全面采用。
字节跳动怀来数据中心一期工程机房模块上方顶棚侧面的回风口，通往间接蒸发冷却模块 间接蒸发制冷对数据中心建筑风格有着与直接蒸发制冷类似的影响。采用直接蒸发制冷路线的数据中心多从建筑侧面进风，再由侧面或建筑顶部出风；而间接蒸发制冷的技术特点决定了数据中心内部的回风口和送风口相距不能太远，最好布置在同一个平面，所以间接蒸发制冷设备通常部署在建筑两侧或顶部。
多层建筑可以采用类似堆叠的方式，继续将间接蒸发冷却模块安装在侧面。示例中在机房里采用了地板下送风的方式（图源：深圳市英维克科技股份有限公司） 字节跳动怀来数据中心一二期工程均采用美式大平层布局，间接蒸发冷却模块布置在机房模块的两侧，送回风为水平方向：机房内部热通道中的空气上升至顶棚，由侧面的回风口进入间接蒸发冷却模块，交换热量后变冷，再从位置较低的送风口回到机房。
间接蒸发制冷模块也可以安装在屋顶（图源：深圳市英维克科技股份有限公司） 变化在机房模块环绕的机电模块：一期工程中，机电模块使用传统的机械制冷系统，设备布置在模块的外侧壁；经过运营验证后，二期工程中，改为在机电模块的顶部安装间接蒸发冷却模块，送回风都是上下方向。所以，二期工程更进一步，成为完全基于间接蒸发制冷架构（必要时启用DX模块补冷）的数据中心。
右侧红色围笼半包围中的白色类集装箱设备是为机房制冷的间接蒸发冷却模块，左侧白色围笼中是为机电模块制冷的设备，二期工程中被安装在机电模块顶部的间接蒸发冷却模块取代 能效不是万能标尺 水侧自然冷的系统比各种风侧自然冷要复杂很多，这个影响主要体现在建设和运维过程中，这一点后面会详述。仅从能效的角度来衡量，并不能说哪方一定占据优势。特别是在都能完全利用自然冷源、无冷机的情况下，水侧自然冷系统多出来的冗长环节，未必会增加多少损耗。譬如，采用水侧自然冷的Google数据中心，和采用直接蒸发制冷的Facebook数据中心，PUE都可以达到1.10以下。
字节跳动怀来数据中心一期工程的一个机房模块 此次万里行参观的数据中心里，PUE值最高和最低者，都基于水侧自然冷架构。中国联通呼和浩特数据中心是8个超大规模数据中心里唯一PUE会高于1.5的（不考虑低负载等特殊情况），夏季开冷机时可达1.6，冬季启用水侧自然冷低至1.4，年均PUE仍在1.5以下。 作为一家运营商数据中心，联通呼和浩特数据中心首先要保证安全性和可用性，而不是追求极致的能效。况且呼和浩特有着堪称全国最低的电价（0.26元/度），PUE略高一些也不会对成本构成太大压力。 百度云计算（阳泉）中心则以1.10的年均PUE成为最低的那一个，在2016年这个数字是1.11～1.12。数字中国万里行团队参观时为2018年9月11日上午，监控大屏显示气温15℃，1～4号机房模组的实时PUE值在1.070～1.195的范围内，总体约1.143。 Google的水侧自然冷数据中心能获得1.10左右的PUE，得益于其设立在自然条件很优越的地方，譬如芬兰Hamina的数据中心由废弃的造纸厂改造，100%采用海水散热；比利时平均每年只有7天的气温不符合免费冷却系统的要求，Google将机房的温度提高到27℃以上。
百度云计算（阳泉）中心形似一个发光的灯泡，灵感源于百度Logo的熊掌部分。可以大致看到安放在楼旁的蓄冷罐，以及楼顶的多种冷却设备，以冷却塔为主，也有间接蒸发冷却模块。甚至还有1个模组在楼顶部署了太阳能光伏板 阳泉的气候条件即使与北京相比都没有明显的优势，百度云计算（阳泉）中心采用了提升服务器进风温度的手段，以最大限度的利用自然冷源，全年可利用免费冷却的时间达到96%以上：约10%是预冷模式，即先经过板换再用冷机进一步降低温度，所以完全不开冷机的时间约占85%。即是说，全年完全依赖机械制冷的时间只有300多小时，大约两周。 在缩短送风路径、避免不必要的损耗方面，Google的数据中心将空调盘管直接置于热通道上方，两列背靠背的服务器机柜散发出来的热空气，在机柜间的密闭热通道内聚集并自然上升，经过顶部的空调盘管冷却，再经盘管上方的风扇带走飘散到整个机房大环境中，这些冷空气自然下沉重新回到机柜的冷通道侧被服务器吸入，重新开始下一个循环。整个过程气流组织非常短而高效，几乎没有多少冷量传递损失。
Google数据中心的热通道，左右两侧可以看到服务器的风扇，顶部是空调盘管（图源：Google） 百度引以为傲的OCU（Overhead Cooling Unit，置顶式冷却单元）技术则更进一步，顶置盘管不配风扇，而是直接利用机柜后部的风扇把冷风抽进来，再度简化了制冷系统。由于热通道完全封闭后，空调送回风温差很高，且整个气流路线符合热空气上升冷空气下沉的自然对流法则，因此需要的空调风量较小，对（整机柜）服务器风扇增加的负担并不算重，转移到IT端的这部分损耗也基本可以忽略不计。
安装在热通道（和机柜）上方的空调盘管 可以看到，字节跳动怀来、阿里云张北、百度阳泉这些全年免费制冷时间占比很高（80%以上）的数据中心，普遍采用封闭热通道的方案，将整个机房作为一个大冷池。这样可以避免局部设备故障后，部分区域升温过快导致的设备故障等问题。
封闭热通道也更利于在服务器等IT设备的前端进行维护 CLF（Cooling Load Factor，制冷负载系数）定义为数据中心的制冷设备耗电与IT设备耗电的比值，可以用来衡量数据中心对自然冷源的利用情况，譬如字节跳动怀来数据中心的年均CLF≤0.093，即制冷设备耗电不到IT设备耗电的十分之一，说明对室外自然冷源的利用较为充分。
站在字节跳动怀来数据中心的顶棚内，向下可以看见热通道 更大的冷池需要更多的冷量来填充，毕竟封闭冷通道的方案，即使将地板下的空间算上，冷池的规模也相对有限。但是，在冷源近乎免费的前提下，这并不是什么大问题。
阿里云张北数据中心的机房包间，整个机房为冷通道，远处的风墙弥漫式送风，热通道组件和门、机柜上方的电缆桥架等设施已安装好，成排推入机柜并连线配置即可完成部署（图源：阿里巴巴集团） 阿里张北和字节跳动怀来数据中心，都采用在机房内一侧开口的弥漫式送风方式，简化布局，非常适合送风距离不长、单机柜功率也不是特别高的情况。以字节跳动怀来数据中心为例，每个包间里有11组机柜，每组两列封闭热通道，各14个7.2KW机柜，共308个机柜。二期工程为了提高送风效率，调整了送风口的位置，使其正对机柜前端的冷通道，优化了气流组织。
百度云计算（阳泉）中心7-8模组楼之间的间接蒸发冷却模块（图源：百度） 可以实验、迭代多种技术是自建数据中心的一大好处，百度在阳泉数据中心就部署了CRAH（水冷型空调）、OCU、直接蒸发制冷（百度称为AHU）等多种技术，有两个机房模组之间还安装了间接蒸发冷却模块，百度称之为IDEC（Indirect Direct Evaporative Cooling，间接直接蒸发冷却）。京东云华东数据中心也在三号模块楼的顶部安装了间接蒸发冷却模块。
京东云华东数据中心1号园区局部，中部偏下位置4个设备为间接蒸发制冷模块。上方一路之隔的地块规划为2号园区，右上方的白色建筑为专属110KV变电站 如前所述，水侧自然冷系统的主要问题不在于能效和PUE，而是系统复杂、占地、影响建设速度，所以京东云华东数据中心2号园区、百度和腾讯新的自建/定制数据中心项目都将采用间接蒸发制冷架构。 间接蒸发制冷架构较好的环境适应性，令其也可以在空气质量不是很好的城市核心区替代水侧自然冷架构，特别是边缘数据中心。譬如腾讯，较大规模的数据中心仍主要布局在核心城市区域，其第四代数据中心技术（T-Block），以及主要面向边缘计算场景的mini-TBlock，都将间接蒸发制冷架构作为重点，即使是在气温较高的南方城市，也可以在冬季利用自然冷源。
北京最大干湿球温差17.6℃，夏春秋平均干湿球温差4.8℃，可以较好的满足间接蒸发制冷的要求（来源：深圳市英维克科技有限公司） |
|
|
