|
7月3日，腾讯云清远云计算数据中心正式开服，该园区是腾讯清远百万量级服务器集群的一部分。同时也是腾讯第四代数据中心技术T-block在全国多地试点后的首次大规模建设投产。 T-block是如何成为腾讯布局新基建、建设超大规模数据中心的宠儿的呢？今天，我们将为大家深度揭秘腾讯T-block发展之路。 腾讯数据中心20 年发展历程  租赁IDC（1998～2007） 前10年，腾讯数据中心主要以租赁传统数据中心机房为主。这一时期，数据中心主要采用传统低效率DX空调，机柜功率密度低，无冷热通道隔离、存在气流短路等风险。 自建IDC（2007～2012） 2007年腾讯开启了数据中心自建之路，第一个自建的宝安机房属于典型的旧楼改造项目。该项目分四期建设，先后尝试了大量数据中心技术方案包括：架空地板、机柜内送风、封闭冷通道、风墙、MDC、整机柜等，是腾讯数据中心开展技术积累、研究、创新的重要阶段。 2009年之后，腾讯开始在天津自建数据中心园区开展大规模的新技术尝试和落地。诸如240V HVDC、N 1的RR供电架构、水侧自然冷、风侧自然冷等第二代数据中心技术试点。 第三代数据中心技术MDC（2012～2017） 2012年，基于MDC的数据中心大园区架构“诺曼底模型”问世，腾讯开启了50～100万台服务器规模的布局。 腾讯开始在一二线城市拿地，探索大规模的微模块数据中心建设。先后规划了上海青浦、深圳深汕、天津滨海，以及重庆两江等第三代大型MDC数据中心基地。同期，在北上广深采用合建模型建设了大量的MDC数据中心。 第四代数据中心技术T-block（2017～） 2017年，腾讯数据中心大规模布局环一线城市，河北怀来、江苏仪征、广东清远等地，开展第四代数据中心技术T-block的大规模规划、建设，作为腾讯新基建实践的重要技术成果。 腾讯数据中心技术演进 01 设备级HVDC应运而生 早期腾讯租赁的数据中心出现过数次UPS故障，而且部分机房由于是假双路，UPS故障影响范围多达几百甚至上千台服务器。因此，开始尝试大规模引入分布式240V高压直流供电技术。  HVDC与传统UPS对比 使用240V直流系统几乎不用定制或者更改服务器，而且相较于传统UPS系统成本更低、效率更高、可靠性更好。腾讯在这个基础上突破性的采用了“一路市电 一路HVDC供电”的2N供电架构，在保证高可靠性的基础上，实现了更低成本和更高的效率。  腾讯MDC经典2N配电架构 腾讯是行业内第一家真正大规模坚持应用HVDC供电架构的公司，目前腾讯已有近百万台服务器跑在这个供电架构下。实际运行的经验也证明了该架构可以很好的保障业务的可靠和高效运行。 02 房间级微模块（MDC）横空出世 在解决了供电可靠性问题之后，机房标准化问题却一直困扰着大家。在2010年前后国外的集装箱数据中心很火，但在国内却很难落地。尤其是早年国内数据中心大都是在北上广深的旧楼改造项目，通常是三四层以上的多层厂房，不像国外多是大平层的仓储式建筑，因此国外的集装箱数据中心方案难以上中国的高楼，所以需要有更适合中国国情的模块化数据中心解决方案。 这个阶段腾讯就开创性的提出了微模块的概念，在机房里采用标准化的HVDC、行间空调、机柜和配电柜，以及标准化底座等各个模块，通过建筑的货梯运送到现场，并在现场快速拼装成一个个标准化的微模块，实现数据中心机房内的标准化、模块化快速建设。 腾讯还根据典型建筑柱网间距、单套HVDC和电池容量、行间空调散热能力、建筑承重、层高等限制条件，提出了腾讯最佳实践的R12和R18模型，更具有标准化和普适性，实现了大规模应用，并为行业广泛接受。  腾讯MDC房间级布局  腾讯MDC与整机柜试点 03 机房级“诺曼底模型”诞生 在前面设备级采用分布式HVDC供电和房间级标准化微模块后，腾讯在复杂度更高、工程性更重的高低压和空调系统方面继续做了些标准化工作。由于采用了分布式的HVDC和微模块之后，在配电侧只剩下更扁平化的高压和低压部分；冷源侧也只剩下冷机和水泵、冷塔部分。 我国典型的单路10kV输入容量约为10MVA，对应典型变压器配置为4组2500kVA或者5组2000kVA，所以配电和制冷部分也很容易标准化。 接着考虑到多层机房的变压器需要靠近末端，腾讯定义了一层配置冷机、柴发、高压和网络；二楼及以上部署IT房间和变配电的布局。 再结合园区面积以及变电站规模等，从机柜、微模块、IT房间、建筑单体到园区多建筑不同颗粒度做了第三代数据中心园区诺曼底最佳实践模型，实现了机房标准化以及布局合理化。在设计阶段从小到大不断复制堆叠；而建设阶段则反过来，从大到小分期逐步按需建设。  腾讯数据中心诺曼底模型 04 腾讯智维开启自动化运营新阶段 在解决了前面硬件标准化的基础上，超大规模数据中心不能靠堆人运维而需要靠自动化运营。但我们发现数据中心的监控数据接不上来，或者上传的数据质量不高，主要的原因还是七国八制的硬件接口或者软件协议，更别说标准化程度较低的冷机BA和电力SCADA等。 正是基于诺曼底模型和微模块的标准化、产品化的良好基础，监控的标准化工作就更容易开展了。因此我们统一定义了监控的南北向标准，实现了机房监控的“书同文、车同轨”。 基于腾讯二十多年的数据中心运营管理经验，打造了腾讯数据中心智维平台；接入数据、分析数据、管理数据，让数据中心运营管理团队远程就能运营维护好数据中心。该平台可以通过AI技术实时分析数据，在设备健康度管理、节能调优等方面提供决策建议，大大简化运维流程并减少人员操作失误风险，让数据中心运维更可靠、更高效。   腾讯智维平台 05 腾讯第四代数据中心技术T-block的提出 当前互联网数据中心的需求是：超大规模、快速部署、低廉成本、高效可靠、自动运营、弹性配置、绿色节能等。比如在超大规模方面，要求支撑未来几百万台服务器的需求；在快速性方面，要求在半年内甚至几个月内快速交付满足业务的需求。同时，海量需求，也要求进一步降低数据中心的投资建设成本，以及希望实现更低PUE来降低庞大的电费支出，通过自动化运营来减少运维人力开销；还有未来的云数据中心希望能弹性满足不同场景、不同客户的需求；同时，绿色和环保也是不容忽视的“刚需”。  腾讯数据中心技术架构演进 基于上述需求，传统的北上广深旧楼改造模式是很难再开展了。再加上现在核心城市严控能耗指标，数据中心成本居高不下。这就促使腾讯去开拓网络条件良好、气候更为凉爽适宜、电费更加优惠、土地资源丰富且可扩展的资源；并且采用标准化、模块化的方式去建设腾讯第四代数据中心。因此，腾讯在环一线城市的河北怀来、广东清远、江苏仪征等地布局第四代T-block数据中心的建设。 有别与传统的旧楼改造模式，我们可以完全按需来定义数据中心的园区规模、建筑形态、以及机电产品等。 通常典型的腾讯第四代数据中心大园区会有几百亩土地，具备良好的扩展能力，甚至配套有可靠的专用变电站，满足未来业务的增长同时也保证了业务的高可靠保障。此外，因为是新建建筑，在土建方面可以完全按照数据中心的需求来定义为装配式预制化建筑，实现标准化设计以及快速建设交付。 同样，在机电方面，也可以抛却传统复杂的冷冻水系统和集中式大型UPS系统，采用更为标准化、产品化的IT和中低压模块、间接蒸发冷空调，及智维等T-block技术，实现像乐高搭积木一样快速建设的同时，进一步提升自动化高效运营。  腾讯T-block建设 腾讯数据中心经典架构实践成果 腾讯第三代数据中心（MDC）实践成果 通过前面的HVDC、微模块、诺曼底模型、腾讯智维等架构设计，以及腾讯多年的最佳实践模型和精细化运营管理；结合着过去三代数据中心近百万服务器的建设经验，实现了单个机柜到整个园区从小到大的标准化规划设计，也支持了从大到小的模块化按需扩容建设。 目前该方法论和最佳实践模型支撑了腾讯全国近百万台服务器，同时也基本实现了全国主流腾讯第三代定制数据中心年均PUE在1.3左右的较低水平，以及良好的可靠性和运营自动化水平。  腾讯数据中心第三代技术MDC运营PUE 腾讯第四代数据中心技术T-block实践成果 腾讯云清远数据中心采用了腾讯第四代数据中心的T-block技术，以标准化、产品化形式实现数据中心像乐高搭积木一起快速建设交付。T-block涵盖了中压、低压、柴发、IT、空调、办公等功能模块，支持边成长边投资，也可以根据用户需求来灵活按需配置，并通过腾讯智维平台实现自动化高效运营，实现平均PUE1.2X，最低可低至1.1X。 由于T-block技术降低了对机房土建条件的依赖和约束，通过更加绿色环保的装配式钢结构形式实现主体建筑的低成本快速建设，土建建设周期缩短50%。更得益于T-block高度模块化、标准化的设计理念，通过工厂预制、现场拼装，机电交付周期缩短40%，土建机电整体交付周期只需12个月（在楼宇就绪的情况下，机电部分扩展最快只需3～4个月），可分期按需扩展，初期投资下降30%以上。 在T-block技术的支撑下，腾讯云清远云计算数据中心从土建到机电交付仅用了一年，创造了同等规模数据中心交付的行业纪录。目前，更多的T-block数据中心正在建设中，敬请期待。 腾讯T-block大园区布局图
|
|
|
