分享

如何将数据中心的各种存储设备“搬上云”?| 架构进阶

 yi321yi 2023-07-23 发布于上海

【摘要】构筑企业的云平台存储可以使企业适应快速迭代创新的业务发展,在市场占得先机,可以提升企业运维管理水平,迈出上云的第一步。

【作者】张俊禧,长安银行存储架构师

部署云平台存储是企业私有云建设的重要环节。云平台存储将企业内部的各种存储资源云化管理,企业的私有云管理平台调用各类接口驱动存储资源的弹性的配置,云原生的应用和传统的应用都可以在“云里”自如地获取所需的存储资源。如何将数据中心的各种存储设备“搬上云”?本文对“金融企业如何设计私有云平台存储”这一课题贡献一些思考。

为金融企业设计云平台存储,首先要规划将要建设的私有云应具备哪些基本的存储服务能力,换言之,根据业务需要将具体的存储设备抽象成IaaS层哪些存储服务,这一层设计不需要考虑具体的产品形态。下图整理了金融企业典型的业务及对存储访问接口、性能和容灾能力的要求。

Image

业务及对存储访问接口、性能和容灾能力的要求

图中比较有代表性的是:

1)关键交易型数据库通常使用块存储,对存储性能要求高,对存储容灾要求高,企业级全闪存存储满足这些要求;而内部报表分析型数据库批量处理对存储压力较大,综合投入角度考虑,也需要配置性能较好的块存储,存储的档次可以略低些。

2)关键交易型应用,特别是互联网业务,多数已经采用无状态应用开发模型,特别适合使用容器形式部署,目前先进存储厂商已经在企业级存储上支持CSI接口,并且VMware及分布式存储也广泛支持容器。

3)金融行业通常使用对象存储处理非结构化的数据,越来越多的应用开始支持S3接口。

4)文件存储适合应用节点间需要共享数据的情况,文件也是经常用到的存储接口。

总体看,金融企业业务可能会用到块、文件、容器、对象四种接口,对应云平台存储的四种基本存储服务能力。同时按照业务对性能和容灾的不同要求,四种存储能力分别在两个维度还可以细分。

设计云平台存储就是要将企业内部孤立的具体的存储设备转化成云上的服务,同时把具体的存储空间从申请到销毁整个生命周期的运维操作转化成云上自助服务的流程和底层一系列自动化的操作。云平台存储是企业私有云的整体建设一个环节,通常需要通盘考虑计算、网络及业务上云。下图说明了云平台存储从物理设备直到云服务是如何被构建出来的。

Image

云平台存储从物理设备直到云服务如何被构建示意图

根据上图数据中心全部的云计算技术首先建立在某种Hypervisor层之上,Hypervisor安装在服务器上与存储本身关系不大。云平台存储是云管理平台软件对各种存储服务的实现,比较有代表性三种情况是:

1)常见国产分布式存储(或称为软件定义存储)本质上是基于网络的集群文件系统,在此基础上再构建出块、文件及对象等存储服务,代表性的是基于Ceph开发的产品。

2)以CSI和S3为代表的接口,存储设备支持相关协议,Kubernetes容器编排平台可以直接调用CSI访问存储,应用可以直接调用S3接口访问存储,这两种接口的实现几乎不需要云管理平台再对存储进行封装。

3)OpenStack实现比较复杂,使用具体存储厂商的驱动和存储设备直接对接,使用Cinder子项目配置块存储服务供计算节点使用,使用Manila子项目创建文件服务接口继而对接NFS等具体文件协议最终呈现文件服务能力。

4)CSI(Container Storage Interface)为容器编排引擎Kubernetes和存储系统之间建立一套标准的存储调用接口,通过这个接口为容器编排引擎提供存储服务。

上文说明了云平台存储的底层逻辑。云平台存储的设计可能经历以下几个阶段:

1)云平台存储应首先和企业的CMDB对接,掌握企业全部的设备信息和配置信息。云平台存储后期的管理应与CMDB联动。

2)云平台存储设计的前置工作将有条件的存储先池化统一管理。企业生产环境存在不同档次的存储,部分中端磁盘阵列或者一些购置较早的设备可能不支持新的接口或者不能适配云管理平台软件。这时有条件的企业可以用具有异构其他存储的企业级存储,先将中小阵列进行统一纳管,形成虚拟存储池,中小存储降级为空间供应者,由企业级存储负责与云平台对接。

3)根据存储不同的性能和容灾保护情况进行分类分级,最终形成差异的存储服务。首先分析块存储,企业级存储可靠性高性能优异,已经部署了同城双活或者同步复制,分布式存储使用副本实现冗余,当它成为云的后端设备,完全可以跨故障域存放副本,也可以实现数据双活甚至多活。云平台存储应充分发挥不同存储的优势,根据业务的特点和需要从云里选取不同的存放位置。比如核心交易数据库,追求极致性能和可靠,可以分配双活的企业级存储;而互联网交易场景已经使用容器+微服务架构开发,要求弹性高,比较适合使用分布式环境,可以为其分配分布式块存储,而且多副本也保证了数据安全。文件的情况与块类似。其次,对象可以直接被应用调用方法问,适合存放非结构化数据。由于对象存储不涉及数据一致性的问题,可以两站点甚至多站点部署。对象存储多站点部署数据使对象服务跨站点可用。第三,一些专用的接口可以直接为应用调用。例如有的厂商对象存储或分布式存储提供Hadoop HDFS接口,可以支持大数据的分析场景直接使用。

4)云平台存储通过强大的编排组织串联起存储服务,实现存储运维场景化自动化。尽可能详细梳理生产环境会遇到的各种存储运维操作,将存储接口形象展示成云上丰富差异的存储服务目录,将具体的操作形成云上的流程节点,尽可能通过点选拖拽图标自助完成服务。例如,自动化的节点扩容、存储资源扩容回收、大型业务投产为各个应用匹配最精准的存储服务等。

构筑企业的云平台存储可以使企业适应快速迭代创新的业务发展,在市场占得先机,可以提升企业运维管理水平,迈出上云的第一步。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多