京东自建数据中心有哪些考虑? 有多少服务器? 京东云是不是迟到了? 有必要定制服务器么? 一个月前,我和家人去长隆野生动物园游玩,突然接到一个显示来自宿迁的电话。 就像一位朋友说的,这年头,座机拨来的十有八九是骚扰电话。略有犹豫,我还是接了。 对方自报家门,说是京东的客服。这下我突然意识到,东哥就是宿迁人啊!把客服安排在非一线城市,是很合乎情理的。来电是告知我昨天在京东退掉一个智能电源插座的快递费回款事宜,态度也很好,各方面证据都显示这不是一个诈骗电话。 现在我担心的不是这个,而是在选择退掉之后,马上又买了一个,因为这个也和介绍内容不符,对非官方苹果充电线的兼容性不好。我打算再度退货,又寻思会不会因此上黑名单。 我自信不会啦,每回为了凑单,都买了不少生活必需品,只是退掉两个不合用的插座而已。在这个言必称大数据的时代,不用太复杂的分析,结合我多年来的购买记录,不难知道绝非一个恶意用户。 然而,有老司机告诉我,上了京东的黑名单,不代表就不能再买东西,但会有限制领券及抢购(如秒杀)等惩罚措施。我这人不好凑热闹,从不参与秒杀,能继续领券就行了。 结果,我不仅没上黑名单,还来到了京东在宿迁的数据中心——618将至,无论分析还是秒杀,都需要强有力的数据中心支撑。 说来有趣,我知道刘强东是宿迁人,就是因为听说京东要在宿迁建一个数据中心。这和我知道李彦宏是阳泉人,竟是同样的套路……
现在京东的数据中心基本布局是北上广,在华北、华东、华南三个地区各有一些主力机房。位于宿迁的这个数据中心,就是京东华东区的主力机房,也是京东第一个自建的数据中心。第一次自建的用时总会比较长,腾讯和百度如此,而京东云华东数据中心设计于2013-14年间,今年3月1日开始部分投入运营,可以算很快的了。 至于……为什么是宿迁?见不到东哥本尊,总不能去问西楚霸王有没有钦定的感觉哈?不如静下心来,看看数据中心建在宿迁有哪些“地利”。 由于我国人口分布明显不均衡,大型互联网公司(如BAT)已经投入使用的数据中心,几乎都位于“胡焕庸线”(黑河腾冲线)的右侧,即人口密集的东部及南部区域。要说离用户最近,莫过于北上广深等地,然而这些大城市早已不堪重负,在电力和土地供应诸方面受到的限制也是最多的,后来者再想建设大型数据中心,可谓难上加难。
巧合的是,从经济发展的角度来看,江苏省存在着类似的不均衡现象:位于东部的苏中和紧邻上海的苏南地区经济发达,而位于西北部的苏北地区则相对欠发达。放大到全国,宿迁的地理位置类似于内蒙古呼和浩特(三大运营商都有大型云计算数据中心)和宁夏中卫(AWS建有大型数据中心),距上海与呼和浩特到北京大致相当,距天津与中卫到西安大致相当,有点闹中取静的意思——毕竟只是在苏北而不是西北嘛。 绕了这么大的圈子,究竟有哪些好处?不妨一项项来看 地大 京东云华东数据中心位于江苏省宿迁市湖滨新区,园区总占地面积达13万平方米(200亩),整体由4个规模相当的云数据中心模块和1栋综合大楼组成,每个模块建筑面积12332平方米,总建筑面积55328平方米。 4个模块均为单层建筑,即使层高较高(7.5米,内部工作区空间净高约4米)而可以计为两层,容积率也小于1,这在一二线城市是很难争取到的,体现了宿迁作为“四线城市”的优势。
单层建筑大大简化了数据中心建设和部署的要求:
架多 顺应模块化的潮流,4栋机房模块独立实施,互不影响,可实现分期建设,第1栋机房模块及综合大楼已投产运行,其余模块将于2017年陆续投产。
模块内部的数据机房和配电室也由相同的小模块组合而成,可根据使用需求灵活布置、调整模块内容。每个模块包括10个机房,分为4个低密、3个高密、1个微模块和2个网络。
4栋机房楼(数据中心模块)容纳机柜总数量超过5000架,“可承载20万台服务器”——引号是我加的,因为这显然是按照每机柜40台服务器算出来的理论值。
5000个机柜,如果全部使用2U机架式服务器,能达到10万台就不错了;全部使用1U服务器,可以超过15万台;20万台就要考虑2U4、1U2、刀片式服务器等机型了,还得考虑分配到机柜的供电能力。 电足 京东提供的资料显示:宿迁处于“西电(气)东输和年发电量140亿度的田湾核电站的高压走廊,能源及电力供应充足,具有高质量的输电网络和充裕的供电能力。” 具体到宿迁数据中心,自建了纯双路110KV专用变电站。一般来说,110KV变电站的供电容量可达60MVA,理论上存在5000个机柜都达到12KW的潜力。 每栋机房楼配置2200KW发电机组作为后备电源,具备连续满载12小时的运行能力。具体说来,共8台柴油发电机,分布于两个房间,N+1配置,45秒启动,90秒到末端负载。加上高压直流UPS提供15分钟延时,构成三重供电保障。
水丰 “宿迁属暖温带季风性气候,气候温和宜人,雨量适中,四季分明。一年最高气温35.5℃,最低气温-12.1℃,平均气温14℃。区内陆表水系十分发达,河渠纵横,以京杭大运河为主要水运通道,水位一般在9~9.5米。宿迁地处淮河和沂沭泗两大水系下游,境内河湖交错,拥有10条流域性河道、39座小水库,水域面积达350万亩。” 宿迁数据中心采用市政双路供水,几公里之外就是骆马湖。700冷吨离心冷水机组为N+1配置,蓄冷罐蓄冷时间15分钟。在外部条件适宜的时候,通过设置在机房楼顶部的冷却塔实现水侧自然冷却,达到节能降耗的目标。
京东云华东数据中心的能耗目标是PUE<1.4,由于3月1日才投入运营,京东云4月开始对外提供服务,暂时只有几百台客户的服务器在运行,少量负载情况下的PUE不具参考意义,也没有足够时间衡量水侧自然冷却的具体贡献。 #插入扯淡时段 甲:反正带宽也是从运营商来的,客户为什么不直接用运营商的数据中心呢? 乙:不够fashion。 丙:怎讲? 乙:在年轻人中,王思聪和王健林,谁更受欢迎? #扯淡时段结束
如京东云首席架构师杨海明所说,整个苏北需要发展经济,在这个地方没有高品质的机房。这可以部分解答扯淡时段提出的问题,但京东显然不是IDC服务商,“京东云华东数据中心 ”名明白白,还是应该主要满足京东云的需求。 杨海明表示,京东云现在服务的客户主要是三大类:
后两类京东都有切身的经验,并列举了一家国有企业客户、民营企业郑州河南皮鞋批发市场、京东与北京亦庄锋创科技园合作的案例,说明京东云在帮助企业升级转型中起到的作用。 按照京东的说法,京东云的历史不算短,在今年3月份之前主要服务内部的京东商城的业务,正式对外提供服务是今年4月的事,恰逢3月第一个自建数据中心投入运营。可以说是个巧合,但公有云服务与数据中心建设之间,也确实有比较紧密的关联,以下三个问题或许能带给大家一些启发。 一、京东现在大约有多少台服务器? 应该还没到10万台——这不是官方答案,也不能说我的推测有多么切实的依据。听起来似乎与京东目前的规模不符,毕竟一家国内领先的视频网站也能有这个级别的服务器保有量。不过,电商类网站满足自身日常的交易和分析需求,确实不很消耗服务器数量。不妨看看另外两家电商巨头:阿里巴巴在2011年时,服务器总量很可能连5万台都没有(不要太计较几年来交易量的增长,那时的服务器性能也比现在差很多);亚马逊则在2014年宣称,AWS每天新增的服务器容量可以支持Amazon.com作为一个年收入70亿美元企业时的全球基础设施。 观察一:从亚马逊到阿里巴巴和京东,都是“电商优则公有云”的路子——电商业务发展到了一定规模,开始进入以IaaS(Infrastructure as a Service,基础设施即服务)为代表的公有云服务市场; 观察二:亚马逊和阿里巴巴,都是在公有云业务发展起来之后,服务器数量开始井喷式增长。 所以…… 二、京东云来晚没? 仍以IaaS来说,在发展更早、竞争也更为充分的美国市场,已基本形成巨头垄断的格局,后发者即使实力雄厚如Google、Oracle,都很难打开局面,现在入局显然是太晚了。
由于政策、地域、行业等种种限制因素的存在,中国市场仍处于混战之中:
有资源有技术的巨头们没有体现出充分的先发优势,市场的上升通道继续对后来者敞开。初创企业如青云QingCloud、UCloud有机会,“富二代”如金山云有机会,京东云当然也有机会。 三、京东怎么看待定制服务器? 观察三:互联网巨头们在自建数据中心前后,都伴随着定制服务器,尚无例外。 自建大型数据中心,意味着足够的服务器采购量,这是定制的必要条件。 当然,不一定充分。 杨海明表示,京东考虑过定制服务器,包括天蝎整机柜,但也只是考虑而已。如前面的介绍,从设计上来看,京东云华东数据中心有足够的能力支持天蝎整机柜,将来想上的话,技术层面应该不是问题。 说句题外话:京东的股东腾讯,定制服务器有近十年的历史,与百度、阿里、英特尔共同发起天蝎整机柜项目(本周微软发布了同名的VR主机项目,可以去看一眼在Bing上搜索Project Scorpio的结果),数据中心建设的规模和规格在国内都属前列,整机柜服务器的采购量却很少。其中的原因相对复杂,这里就不展开讨论了。 关键在于,现在京东的业务属于扩张期,更多的是关注新业务,IT层面的定位还不太关注成本和优化。 怎么理解这句话呢?参观完数据中心之后,第二天京东在宿迁正式开展无人机试运营,以期在全国村镇间建立无人机物流配送网络,由无人机来完成乡镇配送站到乡村推广员的“最后一公里”(目前是10~15公里往返,未来目标是45公里往返)配送过程。据称无人机是京东自行研发的,按照我肤浅的理解,最不济也应该是深度定制。从京东无人机的指标来看,单架的成本应该与服务器差不太多。
据京东集团副总裁兼X事业部总裁肖军介绍,中国的行政村大概有60万个,排除一些信号和网络不好等原因的偏远山村,(乡村推广员)今年应该能覆盖到40万个。如果无人机配送进入实用阶段,上百万架的潜在采购需求,自行研发或定制意味着巨大的成本节约。而仅以电商业务的角度来看,服务器的需求量不够大,又处于业务链的后端,定制似乎不是很必要。 不过,如果京东(公有)云能发展起来,情况就不一样了。一方面,对服务器的需求会迅速增长;另一方面,服务器的购买和运维成本,会直接影响京东云的盈利能力。届时,服务器定制应该是必须面对的问题。 自建数据中心为京东云打开了通向广阔天空的窗,后者能达到的高度,将在很大程度上决定京东未来的服务器发展路线。 |
|
来自: 霍耕田 > 《数据中心项目参照》