【ODCC】大话数据中心——模块化数据中心技术和商业模式(中)（阿里巴巴陈炎昌）

国外模块化技术实践和商业价值

上面介绍了较多Colo行业市场，商业模式。本章节要主要讨论，国外到底如何设计模块化数据中心，实现之前提到的商业模式，收费模式对应的价值。

• Tier灵活性——绝大部分的IDC设计，都是按照Tier3设计，但有些客户也许只需要Tier2，有些则希望Tier4。大型Colo机房设计时候，通常会给精密空调，以及冷冻水泵的预留UPS供电回路，在必要时增加UPS即可从Tier3升级到Tier4。而从Tier3降级到Tier2，可以做成N 1的UPS架构，具体设计方式有多种。但灵活的Tier核心目标是，满足不同用户对不同可用性需求，只要在机电系统拓扑上能够升级或降级，Colo公司就能够提供差异化服务而对不同tier要求的用户定价收费。

图7  不同的Tier电气设计

例如上图是典型Tier3的供电拓扑，要降级成Tier2，既可以通过去掉一侧UPS（灰色虚线），利用UPS外置手动旁路做一路市电 一路UPS系统，也可以UPS输出配电柜做低压母联成双母线。

• Datahall容量颗粒度——到底一个data hall里面有多少IT容量为合适，对于不同Colo公司有不同的看法。基本上，目前Datahall容量分配会有几个原则，基于UPS并机系统容量，基于变压器和发电机容量，基于最低机房模块机电成本，基于零售或者批发模式容量。例如DRT在北美用1.2MW作为一个Datahall容量，其逻辑是每kW成本最低，同时刚好是600kW（750kVA）的UPS两台并机形成 2N（N=1 1）高可用性系统。至于上游变压器容量是2000kVA，抛开IT，剩余电力设计用于制冷系统，使用低压发电机N 1。

图8  DRT的POD布局图

图9  DRT的每个POD机房内部

DRT北美比较多采用的就是上面布局，两侧放置列头配电柜和精密空调。这种方式在国内很常见，往往被称为传统数据中心。但实际上，DRT就是用这种传统的数据中心设计，优化制冷系统和配电系统，设备选型，在北美可以做到年平均PUE<=1.3并且在租电分离计费模式中承诺PUE。

上面图中，DRT的模式以批发为主，以1200kW的IT容量切割每个机房模块，机房模块的机电都可以做到独立，这样使租户独立性更好。DRT在北美Ashburn的数据中心园区，就是按照下图的机房模块POD概念进行设计建造，20X为独立机电设施的机房模块。

图10  Ashburn数据中心平面图

上面提及DRT设计容量颗粒度，很重要前提是自身业务是以批发为主，不是以零售为主。零售业务为主机房Datahall机架上架密度通常较低，散租用户多，管理麻烦。如果大容量的机房租给散租客户，很容易造成整个机房的电力容量，空间都被零星客户占据而浪费。大租户很多时候不希望和一堆散租户混在一起。从Colo公司角度说，最终就是一门生意，单个机房大容量去做零售客户，可能租金收入和建设成本相比盈利和商业价值很低，所以大容量机房更适合做大客户批发业务。

当然，北美因为大多是大一层或二层设计，整个建筑面积相对容易做成机电系统和机房模块独立。在欧洲或者亚太，由于土地面积受限，建筑容积比问题，通常数据中心都会建造成多层。这些多层的数据中心，受制于制冷系统而难以做到每个机房模块的机电都是独立。因此，这类数据中心多数情况下会做集中冷冻站给每层机房进行制冷。例如，10MVA的电力的分配可以如下图：

图11  双路10MVA电力进线分配

国外多数设计为低压发电机，而非采用中压发电机，具体发电机配置可以做N 1或者2N。其供配电和制冷系统对应负荷关系如下图所示。

图12  电力和制冷容量对应图

二层机房的电力容量是2000kVA，可以分为好个小机房模块，也可以一个大机房模块。具体容量和面积划分，完全可以自由灵活定义。下图就是直接一个大开间的典型布局方式，当然也可以分成4个500kVA容量。

图13  大开间Datahall布局图

笔者参观不少国外数据中心，通常Datahall都为毛坯层，只是做了每层冷冻水管和变压器，UPS房，电池房都没有。这样可以有最大灵活性用于批发或零售业务模式。例如2000kVA，完全可以划分出2个1000kVA房间，一个做零售业务，一个做批发业务。如下图所示：

图14  变压器电力容量切割和业务模式

合理的设计，可以匹配不同用户需求，例如2000kVA的电力容量，可以拆分成部分Tier2，部分Tier3，批发用的机房模块独立UPS 末端空调形式，如下图所示：

图15  混合Tier和混合业务

• 功率密度模块化——绝大部分设计，都是在一定电力容量下，做功率密度机架分区，或者只要总功率不变，功率密度可以随意组合。例如同一个Datahall内，有低密度区和中高密度区，这种设计国内也有一些案例。国外也有一些设计，采用电力和制冷与物理空间组成矩阵式做法，就可以做到功率密度模块化。例如下图：

图16   矩阵式机电架构

• 机电系统独立性——就如上面提到容量颗粒度规划，往往针对那些有特殊要求的大型租户做PBB模式。例如下图是土耳其Zenium公司的IDC，其提供的解决方案，就是以PBB模式在一层机房空间里面分割出多个独立区间，每个区间可以选择单独的UPS系统，制冷系统或者公用集中机电系统。

图17  Zenium数据中心外观图

他们的设计允许租户在楼顶做单独冷冻水制冷系统或风冷制冷系统，具备极大的灵活性和系统独立性。一个楼层分成若干个房间，可以令租户独享门禁安防权限。在给定电力容量和空间后，结合PBB模式的模块化设计理念使得Colo公司可以差异化更多解决方案。可以想象的是，这种PBB模式很大程度上相当于自建，但又可以用租赁的轻资产方式获得。例如一层机房有多个模块，每个模块都可以拥有自己完整独立的机电设施，同时也可以使用公用机电设施。如下图，每个房间的精密空调都是独立。

图18  机房独立的制冷系统

机电独立性好处显而易见，问题在于租赁托管合同基本需要签订较长期协议，用户必须有较为长远的业务发展计划才合适。很多时候独立机电系统在通常情况下都要比公用机电系统来得昂贵，除非租户可以接受更低的Tier等级和建设标准。

• 设备分区和布局——国外Colo机房分区，更多考虑是设备安全，运营方便。例如基本上把精密空调和列头柜放在两侧，有的设计有专门的空调维护间，有的通过在数据中心内部设立钢笼隔起来。这样可以确保机电工程师维护设备时候，不能进入租户的服务器和网络设备区域。钢笼隔离如下图所示

图19  钢笼Cage示例

同样地，国外对于消防，环境控制也非常注意。铅酸电池房由于会有氢气存在，需要和UPS独立房间，同时有监测氢气的设备。

• 发电机技术——国外基本采用低压柴油发电机而非中压柴油发电机，其中关键在于低压发电机运营方便，开启速度非常快，省却了中压并机控制一系列设计，系统上更加简单。实际上，按照Tier3设计要求，无论低压或者中压发电机并机，必须有每台中压油机分出两路进行并机，形成双母线才满足可同时维护的要求，导致成本提高不少。如下图所示

图20  中压油机拓扑图

低压油机还有其他优点在于日常运营测试更简单，可以给每台发电机增加测试回路进行离线测试，系统独立性更好，即使后续扩容时候不会影响其他租户。

• 制冷系统选择——国内好些数据中心园区采取系统大集中设计，例如运营商不少数据中心园区就有采用集中化中压冷冻水机组等。这种设计除了增加运营人员技术要求外，整个投资财务和商业模式应用并不理想。很多设计人员在设计时，会考虑大制冷设备的效率会更好，更便宜，但这前提建立在负载率上，而负载率又建立在租赁用户量。大型冷冻水机组一台可以有4000kW到7000kW制冷量不等，按照服务器一台350W和一些环境热量，一台制冷机组可以提供~10000台服务器制冷需求，对应5kW机架也可以支持600~700个。可以设想，有多少客户能够短时间内消耗这些设备的容量。这些搁浅的制冷设备容量，在运维成本上和初期资金投入和资金成本耗费都比较大。如果没有大体量客户能够很快用到这个用量，实际上算起来成本和收益并非好的选择。很多欧洲的数据中心采用200~300冷吨的风冷冷机，由于欧洲的水费很贵，用风冷冷机在运营成本上更好。同时更重要一点，相对容量小的制冷设备，可以更容易匹配商业模式和成本模型，包括独立机电系统单独计费，PBB模式客户容量可以更小。如果采用大型冷冻水机组，面对PBB定制租赁模式客户就难以有独立的机电系统。定制租赁灵活性其实对大租户来说非常关键。例如，有些对制冷效能要求高的客户，允许冷冻水工况和冷通道温度更高（例如27℃或以上），换取租赁费用降低。但共享的制冷系统，不得不把水温和环境温度调低以满足其他租户的环境SLA。遗憾的是，国内很多IDC在设计规划阶段往往没有把财务，商业因素考虑。Colo公司销售人员也只好手上机房是如何就如何销售，难以在商业和技术上有更丰富的选择。

本章结语

笔者概括一下国外模块化设计的实践：

1. Tier可用性层级模块化，可以Tier2 – Tier3 – Tier4灵活升级降级；

2. 功率密度模块化，适合未来低——中——高密度的灵活设计；

3. 空间布局模块化，可以进行分拆成批发和零售区域，也可以做PBB模式；

4. 机电容量模块化，配合混合Tier方式，可以根据机电设备容量采取并机，环路等方式，也可以做成分布式，使得租户可以独享或共享基础设施。

反观国内的模块化，大家一下子想到微模块，模块化UPS等。文章到此也只字未提任何产品设备技术。笔者认为，一个好的设计，首先一定是系统架构，第二才是设备技术。国外首先谈及模块化，必定先从系统架构出发，然后选择设备技术，优化容量，布局。如果大家看过笔者另外一篇文章，关于数据中心标准化和模块化，就可以了解模块化四要素，系统架构、设备容量、布局、组合方式。目前国内进入一个怪圈，缺乏设计理念，并没有专注于需求和系统设计，沉迷于设备技术的组合，设备厂商追求横向发展也乐于打包成一个产品解决方案销售。一旦被这些设备技术形式锁死了系统架构，要对系统架构进行优化，就会伤筋动骨了。作为最终用户，一定要明白，首先想清楚自己需求和商业目标，什么系统架构能够满足需求并达成商业目标，然后再选择合适的设备产品技术。在本章节更多讨论是系统架构问题，而下一章节将会讨论设备技术与系统架构结合，更具体剖析国内外模块化技术的的应用对商业价值影响。内容将会涵盖：UPS技术应用，空调末端技术应用，机架供电和布线应用，监控和预制模块。