海外数据中心分布式冗余配电架构简析

作者：郁智华 赵雪婷 葛玮 曹冬民 郑华山 李潘 

【序言】

相比国内数据中心普遍采用的2N配电架构（2N UPS,2N HVDC 或者HVDC 市电）,海外Colo数据中心在配电架构上另辟蹊径，结合冗余和成本，造就了当红的“分布式冗余配电架构”，亦即DR架构（Distributed Redundancy）。 

DR架构常见配置有3N/2、4N/3等。该架构从系统整体的配置和系统的使用率来看，可视为N 1；但从末端负载的配电路由来看，属于2N架构，即末端设备的2路供电分别来自不同的列头柜和UPS系统。由于其明显的成本优势，简单明了的架构设计，较好的冗余备份以及模块化快速交付能力正逐渐成为欧美数据中心市场的宠儿；并逐渐在亚太市场推广开来。本文将介绍两个典型的数据中心分布式冗余架构设计供大家交流和讨论。

【当分布式冗余遇上STS】

4N/3配置的分布式冗余架构是当前较为常见的应用。在实际应用中，部分数据中心会同时在UPS下一级配置STS（见图1）。 

图1. 4N/3 分布式冗余 STS

如上图所示，该数据中心配电架构正是基于模块化的分布式冗余(4N/3)。整个系统由4套独立的互不影响的模块组成,每套系统的配电容量为1.5MW，总IT容量可达4.5MW（整体利用率75%）。该系统可以满足同时在线维护，系统的可靠性宣称可达5个9。

拆开来看，每个模块包含了1个2500kVA的变压器，2250kW的柴发，4000A的ATS， 实现一路市电 柴油发电机互备；两台750kW的UPS并机输出，下联2个1200A的UPS输出配电柜；再下一级为6台400kVA的STS，这6台STS的主路来均来自于同一个模块，备路供电来自于其他3个不同的模块，图2进一步解构说明了上述配电关系。

图2. 图解4N/3分布式冗余 STS

根据上述设计，可以分析得出不同故障场景下的备份切换逻辑关系。

 表1. 分布式冗余架构故障切换逻辑

在分布式冗余配电架构设计中，空调系统的配电也得到了充分的考量。以上述数据中心为例，其空调系统由4套独立的制冷模块组成，且每一套制冷模块的配电路由相互独立，满足分布式冗余要求（详见图3）。

图3. 分布式冗余配电的空调系统

如上图所示，每一套制冷模块均由1台500RT冷机、冷冻泵、以及3台200RT的CRAH单元，以及相应的BMS控制器组成。并且采用蓝、黄、橙、绿四种颜色来予以区分，从制冷和配电上看，制冷模块之间相互独立互不影响，整个空调系统仍然满足N 1冗余配置要求。

综上所述，该数据中心采用4N/3分布式冗余架构，以“高性价比”实现了“2N”。 但是与传统的2N配电系统不同的是该架构下整体系统的利用率和关键设备的使用率均达到了75%，显著高于传统2N架构的使用率50%。当然，对于末端层级列头柜和STS层面的利用率仍然保持50%。

表2. 4N/3分布式冗余架构利用率

【轻装简行的分布式冗余】

前文介绍的分布式配电架构应用案例，采用了STS来加持系统的可用性，但是系统的复杂性也显著增加，而且STS的成本和可靠性依然值得关注。于是纯粹的分布式冗余架构也展示出其魅力。接下来我们将介绍另一个免STS的数据中心分布式冗余配电案例 (详见图4)。

图4. 某6N/5分布式冗余配电架构（无STS）

如上图所示，该架构也是模块化的分布式冗余配电架构。该系统共计包含6个相互独立的模块，即每个模块各自有单独的变压器、柴发、UPS和下级配电单元，系统总IT负载容量可达6MW。

每个模块包含1台2.5MVA变压器（该系统6个模块中，其中3台变压器来源于市电A路，另外3台变压器来源于市电B路），与之备份的是1台2MW的柴油发电机。2台600kW的UPS并机输出后分配至5台400kW的配电柜，末端配电可看作是两两模块互为组合（即ABCDEF六个模块相互组合）AB/AC/AD/AE/AF/BC/BD/BE/BF/CD/CE/CF/DE/DF/EF，末端配电交叉来自于不同的列头柜、配电柜、UPS系统、变压器和柴发。该架构下，各设备的利用率显著提升（冗余度相对下降）。

表3. 6N/5分布式冗余利用率

【两种典型分布式冗余配电架构分析】

案例一配置了STS，主要有两方面的考虑。其一是防止用户采用单电源设备时，无法做到单路掉电不受影响；其二是增加该系统的可靠性，当其中一路上级供电故障时，系统可以切换至另一路UPS，部分末端机架仍可保持末端真双路供电，部分保持“假双路” （配电路由重合）供电，而不会导致用户侧出现单路供电的情况。极端情况下，一路PDU故障或者STS切换过程出现故障，则用户单路供电。

案例二未配置STS，架构更加简单，成本更优。通常认为增加过多的STS，即意味着增加更多的故障单点，更复杂的维护操作，以及更高的成本投入。通常对于超大型的做整租的数据中心“地产公司”来说，更青睐该简单架构，并且模块化建设部署，各期项目建设解耦，分期交付各自独立。因而，该架构也逐渐成为欧美大型数据中心的一种主流架构。

值得注意的是，理论上讲，分布式架构可以由3N/2，4N/3，扩展到6N/5，7N/6。系统的利用率随着每进一步的扩展而逐渐提高，但是整个系统的复杂度、管理的难度、负载均衡的控制难度都随之增大。并且潜在的系统的故障点和负载平衡点也随之增多，在保证系统负载均衡的情况下，只能容忍一个故障发生，若是错误的负载平衡系统则容不下任何故障，目前虽然有日渐成熟的DCIM平台可帮助管理复杂的基础设施系统，但仍不可避免的为运营带来隐患，因此若是应用4N/3或以上配置，通常推荐第二种未配置STS的减少系统组件的简单架构。

【分布式冗余配电架构小结】

分布式冗余配电架构在市场上的不断推广，已经用事实表明了其综合的优势。通过上述介绍，我们对分布式冗余配电架构的优劣势进行简单小结，供大家共同探讨。

1. 优势小结

（1）满足Uptime T3认证。分布式冗余实质上是一种N X的架构，可以满足用户末端2N的需求，如果末端负载是双电源，则满足所有部件在线可同时维护的要求，即符合Uptime T3认证。

（2）控制更简单。柴油发电机单机运行，无需复杂的并机控制，柴发启动输出时间更短，通常可以做到30s内启动输出。同时由于柴发启动时间短，UPS电池后备时间可以降低，目前欧美主流UPS电池后备时间配置为5-10分钟，模块之间独立运行无需电力控制系统母联控制。

（3）效率更高。分布式冗余的UPS利用率通常在66%以上，利用率提升的同时也带来UPS效率的提升，因而更节能。

（4）成本优势。成本相比传统的2N（2N 1）要优化很多，所需的UPS机组较少，同时设备使用率更高初始投资少。

（5）模块化结构便于建设解耦，可分期、分楼层、分楼体、分模块独立建设快速交付。

（6）很多大型的数据中心地产公司，租赁客户为大型云企业，迫于客户施加的成本压力，数据中心企业必须寻求更加高效省钱的架构，因此该架构成为大势所趋。

2. 劣势小结

（1）维护操作复杂，电缆路径的物理隔离困难。

（2）较多的交叉布线，复杂的配置，为了运营中的系统负载均衡，需要清楚知道哪个系统承担了哪些负载，因此初始的信息记录和日常的维护核实非常重要，但同时也很费时，为日常运营带来较大的挑战。

（3）若是采用增加STS的架构，则成本上的优势并不显著，并且意味着增加了更多的故障单点和复杂的切换模式。

（4）后期的机架改造或容量变更的灵活性较低，前期已经严格按照负载均衡规划好各支路带载情况，若客户在实际运营中涉及容量变更，机架改造，在实施上会比较困难，因此通常要求客户务必在前期做好合理的规划设计。

【结语】

随着市场化竞争的不断升级，数据中心底层架构所面临的质量、效率、成本、安全挑战与日俱增。分布式冗余配电架构作为海外Colo数据中心的一种探索实践，值得我们予以关注。