分享

超融合技术白皮书

 ZmlZwh 2021-04-07


自上世纪90年代中后期开始,以大型机、小型机、大型数据库、集中式存储与业务高可用软件组成的IT架构适应了当时的数据大集中趋势,传统IT设备制造商在这一阶段得到了迅猛的发展,集中式的部署模式带来了对硬件性能、高可靠性及扩展性的需求增加。

2003年左右,服务器虚拟化技术开始普及,以VMware为代表的虚拟化软件厂商引领数据中心由物理硬件数据中心向虚拟化数据中心转变。服务器虚拟化技术有效控制了数据中心内服务器数量规模的膨胀,提高了服务器的利用效率,并且,利用虚拟机迁移等技术大大降低了数据中心对服务器RAS特征的依赖。

服务器虚拟化技术的大规模应用使得业务系统的部署呈现由Unix小型机平台迁移到x86 + 虚拟化 + 集中存储架构的趋势,x86刀片服务器 + 虚拟化 + 集中式存储阵列成为这一时期数据中心的主宰。主流传统IT架构如下图:



X86服务器虚拟化已经得到普遍应用和认可。小机用户集中在部分金融、医疗、和制造业等客户,而且因为成本高昂、架构封闭、不易运维等痛点,也正在逐步切换至X86服务器平台。同时客户普遍使用虚拟化技术来提高可靠性和可用性,提升了服务器的资源利用率。

使用集中式外部存储。服务器本地没有存储能力,通过FC交换机连接至集中式存储,集中式存储的特点是通过双控机头或者多控机头连接磁盘柜,所有IO路径通过机头来控制。

以方案集成的形式交付。IT架构通常涉及众多厂商和品牌,设备种类多。通常由集成商做系统集成来交付完整解决方案,后续运维无法实现一个管理软件实现全部配置、管理、监控功能。随着企业业务规模的不断扩张,尤其是云计算大潮来临,IT平台的规模和复杂程度出现大幅度的提升,业务对IT基础架构的灵活性、可扩展性以及快速上线的能力提出了更高的要求,传统IT数据中心架构的弊端也逐渐显现,具体表现为:

(1) 架构复杂,管理困难,策略分散

(2) 集中式存储扩展性差,造成了存储割裂及竖井化

(3) 高昂的成本支出

(4) 业务部署速度缓慢


超融合基础架构(HCI)是一种软件定义的IT基础架构,可虚拟化传统“硬件定义”系统的所有元素。HCI 至少包括虚拟化计算(hypervisor),虚拟化存储(软件定义存储,一般为分布式存储)和虚拟化网络(软件定义网络)。HCI 通常在商用 x86 服务器上运行。

下载链接:超融合技术白皮书



(1) 分布式存储发展
1998年——IBM 发布第一个基于 AIX 操作系统的共享文件系统,General Parellel File System,简称 GPFS。
2003年——Google 公布 GFS (Google File System)技术细节。
2004年——Ceph项目开始,提交了第一行代码。
2006年——Hadoop 发布 HDFS 分布式存储。
2010年——Google 宣布 GFS 下一代产品在 2010 发布,命名为 Colossus。
2011年——Nutanix 发布 NDFS 分布式文件系统;Inktank公司成立,专门研发基于Ceph的分布式存储。
2014年——Ceph社区受到各大厂商青睐,同时Inktank公司被RedHat公司1.75亿美元收购。

(2) 服务器虚拟化发展
1998年——VMware 成立。
1999年——VMware Workstation 1.0 发布。
2001年——ESX 1.0 发布。
2003年——VMware vCenter 1.0 发布;Xen 正式发布。
2007年——VMware IPO,发布 ESX 3.5;Qumranet 研发和发布 KVM。
2008年——Redhat 收购 Qumranet,之后 KVM 开源。
2013年——Xen 宣布开源。
2015年——VMware 全球服务器虚拟化份额达到 37.7%。

(3) x86 服务器相关硬件发展
2005年——Intel 发布 VT 技术,支持 CPU 虚拟化功能。
2008年——Intel 发布 6 核 CPU。
2009年——OCZ Technology 发布第一款 1 TB 的 SATA 接口 SSD,NAND Flash成本出现大幅度降低。
2010年——Intel 发布 8 核 CPU。
2012年——Intel 发布企业级 SSD 3700,真正在性能和使用寿命上达到企业级要求。

(4) 10Gb 以太网发展
2002年——IEEE 802.3ae 发布 10Gb 以太网标准。
2012年——10Gb 以太网交换机每 1000M 的成本下降至 1Gb 交换机的1/3。

(5) 超融合市场与厂家的发展
2009年——Nutanix成立,开始投入产品研发。
2011年——Nutanix推出首代超融合产品。
2013年——联想、华三、SmartX、华云网际、Nutanix在中国纷纷推出超融合产品,标志超融合作为独立的产品形态出现在中国市场。
2015年——IDC首次发布中国区超融合市场报告,厂商市场占有率排名依次为华三、华为、Nutanix、深信服、VMware、SmartX。
2016年1月——联想发起成立中国超融合联盟,并担任第一届理事长单位,标志着中国超融合的元年开启。
2016年——Nutanix 成功 IPO2016年——独立第三方研究机构 Gartner 在《Market Trends: 超融合 Opportunities in China for Global Vendors》系统报道了中国主流超融合厂商与超过上千节点的中国最大超融合案例。
2017年——中国市场超融合厂商数量超过50家,超融合已经渡过概念炒作阶段,在越来越多的客户落地,成为数据中心重要组成部分。
2018年4月——IDC发布2017年中国区超融合市场报告,指出2017年中国超融合市场总量相比

在传统IT的基础上,延伸出来了融合系统。刚开始,融合系统是简单地物理上堆叠,有的厂商还为此提供了统一管理界面,但是各个部分的管理其实是分开的,从客户数据中心的运维管理维度上来讲,技术人员依然需要花费大量精力来关注于系统级的运维。随着服务器虚拟化的兴起,融合系统逐渐转化为SAN基础架构上跑服务器虚拟化,比如VCE的VBlock。即使有统一的管理界面,用户依然需要对存储、虚拟化或网络单独管理。从宏观上看,计算、网络和存储都融合在一块了,但实际上用户还需要对每一部分做单独管理,并没有实现让IT转向通过关注业务层面的响应来支撑业务发展的愿景。

Gartner:HCI是一种以软件为中心的体系结构,将计算、存储、网络和虚拟化资源(以及可能的其他技术)紧密集成在单一的供应商提供的一台硬件设备中。

IDC:超融合系统是一种新兴的集成系统,其本身将核心存储、计算和存储网络功能整合到单一的软件解决方案或设备中。


从狭义上来说,这其实是融合系统的软件定义化,因为这里的定义是把“超”即“Hyper ”等价于虚拟化平台,即Hypervisor的缩写。但“超”更应该被理解为管理粒度,应该是以支撑业务需求的应用软件为中心,以虚拟机为管理载体的使用方式,存储/网络/计算不再是互为剥离的状态。

对于最终用户而言,其面对的、需要管理的载体最好只是虚拟机,而不再需要考虑划卷之类的操作;所以,超融合架构给客户带来的不仅仅是管理上的简单便捷,更是对基础架构管理难度的降低。因此,我们会经常看到说超融合适用场景包括ROBO(远程及分支机构),除了部署/管理简单,另外一个重要的原因是不需要专业的IT人员作运维。

超融合系统应该能够最大化降低对运维人员的要求,包括安装简单、配置管理简单,同时,在服务器部件或整机有故障时,能够利用图形化管理界面在非停机状态下实现快速的硬件更换。

超融合作为一种新兴的集成系统,从技术架构维度可分为4个层级,从下至上包括:硬件资源层、技术实现层、虚拟资源层、集中管理层。

1.硬件资源层:以通用的X86服务器为标准载体,包含CPU、内存、固态硬盘、机械硬盘等基本配件,为上层技术实现层提供硬件资源。整个数据中心只需要通用的x86服务器和二/三层交换机硬件,通过计算、存储、网络、安全和管理的完全软件定义,即可替代复杂的传统基础架构,实现了架构的极简化。

2.技术实现层:将服务器虚拟化、分布式存储、网络虚拟化等几大主流虚拟化技术进行深度融合,利用超融合技术对底层硬件进行全虚拟化,从而将服务器集群所包含的计算、存储、网络资源进行池化,形成虚拟资源池。

3.虚拟资源层:从虚拟资源池获取相应的资源进行实例化,为应用提供丰富的虚拟化实例,从而大幅减少了专有硬件采购数量,降低总体投资成本,提高了业务部署、调整的速度和整体运维效率。

4.集中管理层:通过集中式资源管理软件,对底层硬件资源、虚拟资源池和虚拟实例进行统一管理、监控,并支持为不同类型应用灵活分配资源。


超融合架构具备以下几个特点:

基于通用X86服务器的全资源融合:超融合架构基于标准的X86服务器,通过软件定义全部功能组件,即可为业务提供所需的计算、存储、网络、安全等资源,数据中心不再需要大量不同种类的硬件设备。

按需横向扩展超融合架构具备模块化的无缝横向扩展能力,用户通过横向扩展更多的X86服务器,即可获得更高的计算能力、更大的存储容量、更高的I/O性能、更大的网络带宽,并且扩容期间业务不中断。

全分布式架构超融合架构采用全分布式架构,软件分布在每一台主机上,数据被复制多份并跨主机保存,同时利用虚拟机HA技术和虚拟负载均衡等技术为应用提供高可靠性。任一主机一旦出现故障,都能保证集群管理不中断、数据不丢失和应用正常访问。 

开箱即用,交付简单一般来说,超融合厂商都提供一体化交付方案,即超融合一体机,实现“开箱即用”,设备插电即可进行业务部署工作。即使纯软件交付,也只需要花费很短的时间就能完成软件安装工作。

资源统一管理基于可视化管理平台对计算、存储、网络、安全等资源进行统一管理,解决了传统数据中心多种硬件设备管理割裂而导致的运维复杂的问题,简化了运维工作。

超融合精简了传统IT系统的三层架构,采用标准服务器高速互联,即可同时实现计算、存储网络、存储设备的功能,不仅大幅降低了设备的使用量,同时使IT系统的建设运维简单许多。

用户只需部署好符合要求的服务器或者超融合一体机,很快就可以部署业务并上线。这点在传统三层IT架构下是很难想像的,传统架构复杂的IT拓扑不仅涉及多种软硬件的安装、连接、调试,同时整个拓扑环节中任何一个小模块的故障,都可能导致整套系统无法正常工作,且需要花费较大的精力和时间来排除故障。


在实施部署上,超融合系统的实施部署采用一体化甚至自动化安装的方式,只需数小时即可完成。而传统存储需要提前规划存储网络、业务网络、不同规格的设备空间、存储空间划分等需求,部分较专业的硬件必须由专业人士部署,差不多要花费一周的时间。

超融合架构下用户只需登陆统一的管理界面,即可监控管理整个集群,包括云管理、虚拟机、存储卷、服务器节点、磁盘的全部信息,并能够统一配置管理。当硬盘或节点故障时,超融合系统可以通过告警快速定位故障,并通过更换硬件恢复至健康状态。在传统模式下,用户需要单独维护存储网络、存储设备、虚拟化平台、服务器硬件、以太网设备等,一旦出现故障,需要逐一排除,甚至停机手动修复。

1、虚拟桌面基础设施

虚拟桌面基础设施是超融合的典型场景。虚拟桌面基础架构(VDI)对超融合的使用率比其他任何场景都要多,很多企业在超融合上都优先部署了VDI。


虚拟桌面非常受欢迎的原因之一是每个虚拟桌面等同于一个物理机。这就使规划计算容量变得很简单。超融合的存储I / O管理功能很容易满足VDI中非常严格的I / O需求。虚拟桌面需要高吞吐量且低延迟的存储,所有的超融合解决方案都提供了本地直连存储用以减少延迟,同时超融合的一些I/O平衡算法功能可以优化虚机到物理机的数据传输。


2、数据迁移

一些超融合产品中内置的VM级复制功能还为在不同物理位置之间迁移虚拟机提供了一种经济且简单可行的方法。这在整合数据中心或站点时特别有效。企业IT组织使用超融合在每个虚拟机的基础上进行复制,而不是在逻辑单元号(LUN)或文件系统级(如共享存储的情况)内,他们将超融合节点部署到远程数据中心或站点,并在主数据中心设立兄弟节点,然后将虚拟机移入超融合环境,并通过广域网将其从远程站点复制到主数据中心。


在这种情况下,通过广域网传输重复数据会显著增加带宽占用。因此,超融合产品所提供的内置重复数据删除服务是非常有效的。


3、私有云

超融合对构建软件定义数据中心(SDDC)非常有帮助,而SDDC反过来又是一个可行的私有云架构。因为SDDC自身的优越性,利用它可显着提高私有云部署的效率。SDDC自身固有的基于策略的设定为云开发提供了坚实的基础,并且提高了整体数据中心的灵活性。


由于超融合提供了开箱即用的软件定义来进行计算与存储,这就使其为SDDC提供了极好的块存储。构建私有云服务需将底层基础架构抽象为可供云用户使用的自动策略驱动资源池。超融合已经提供了高级存储功能,例如分层存储、重复数据删除、复制以及快照。如果在传统或融合基础架构上添加超融合提供的高级存储功能,然后抽象出存储功能以供云计算引擎使用是可行的。


4、关系数据库

对于在Oracle数据库或Microsoft SQL Server上构建的大型关系数据库,超融合体系结构的表现有些差强人意,因为它们的存储和计算需求通常不需要同时扩展。数据库服务器通常需要增加存储容量,而不是CPU或内存。即便如此,仍有许多IT组织认为在关系数据库上部署超融合将拥有巨大的潜在回报。


提高性能是关系数据库的主要目标。超融合可最大限度地提高每秒输入/输出操作(IOPS)并减少延迟,从而达到对存储I / O的负载平衡。存储分层则自动将最需要的数据块移动到更高速的存储设备中,从而进一步加快数据库操作速度。但超融合其中的一些功能,例如将数据分层到动态随机存取存储器(DRAM)或从本地PCIe闪存存储器进行超低延迟读取,这在基于外部控制器(ECB)存储上是不可复制的。尽管可以配置,但是却有额外的成本以及复杂性。为此超融合提供了针对以上问题的内置且免费维护的服务。

对于许多IT组织来说,仅凭性能改进这一点就足以成为将关系数据库管理系统(RDBMS)工作移植到超融合上的理由所在。并且如果管理层希望能够简化集中管理,并允许DBA(数据库管理员)部署自己的基础架构,则数据库也可使用超融合中的其他功能,例如VM级别的快照和复制。

免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言删除,谢谢。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多