分享

工程师手记 | 磁带这个结,如何解?(下篇)

 au2016 2018-02-09


如果你担心某种情况发生,那么它就更有可能发生。

--墨菲定律


作者:Hitachi Vantara售前技术顾问刘鸿岳







上回书说到,

服务风波尚未平静,

升级项目变数又起……


领导审查方案的时候,LTO7驱动器已经上市,考虑到升级对运维的影响程度,不如一次到位,可以多支撑几年。对于用户的备份环境来说,将升级方案中的LTO6改成LTO7,可以说这是将之前的方案推倒重来,但是领导的决定没有商量的余地。


LTO7驱动器,出于兼容性原因,需要对备份软件进行升级,对磁带库微码进行升级,对操作系统进行升级,牵扯了太多的环节,风险级别指数上升。再考虑到停机时间窗口要求,并发处理这么多环节,这将是非常巨大的挑战。


困难再大,项目还是要继续的,一条一条的梳理,没有捷径。从出库开始,然后是升级,下一步是备份策略调整,最后是转储,真是一步一个坎儿:


  • 哪些磁带能出库?把备份的CATALOG给业务部门,让他们决定吧。

  • 空出槽位安装LTO7的磁带,这也不简单。出库的磁带遍布每个角落,随便往里装?LTO4和LTO7同属于HCART1类型设备,必须要安装在不同的分区里。随机的无规律安装磁带,就意味着分区无法创建。所以要把库剩余的LTO4磁带重新规划,按顺序码放,然后在某些固定区域安装LTO7磁带,这样才能创建分区。这活怎么干?只有人钻进去,没有什么办法。而且停机时间有限,空间有限,几千盘磁带,真是要眼疾手快才行。

  • 相比其它环节的升级,操作系统的升级最让人崩溃。要打补丁才能识别LTO7,打补丁前要测试补丁,100多个Media Server,操作系统版本有10多个,还是生产系统。

  • 备份软件也要升级才能支持LTO7,Master、Media、Client互相是有兼容要求的,升一个就意味着其它的都要升。

  • 备份软件配置变更,几千个策略要调整,有些策略还有依赖关系。

  • 转储也有问题,很多磁带读不出来,找业务人员确认是否可以清除。担责的事,确认就会很慢。

  • 动员大会、表决心、保证书……


从那次批斗会开始算起,历经一年多的磨难,项目终于修成正果。这中间经历了无数次的技术、商务的讨论和博弈,对于用户、厂商和服务人员都是一次巨大的身体和内心的考验。以至于在实施后的一个月时间里,看到用户来电,我都瑟瑟发抖,我想用户可能也一样?

~~~~~分割线也在瑟瑟发抖~~~~~


所谓疯狂就是重复的去做相同的事,

却期待不同的结果

--阿尔伯特·爱因斯坦


痛定思痛,为什么磁带设备这么折磨人?从宏观角度来说,磁带设备的技术与数据业务的发展有差距,并且两者之间的差距越来越大。每一代磁带设备的升级大概2到3年,并且都只是在容量和性能上有小幅度的提升,根本不可以跟上业务高速发展的步子。如果使用磁带设备,这个差距就需要人和其它技术来配合才能弥补,这就是为什么磁带使用者的痛苦随时时间的推移而加剧,并且最终会被拖垮。很多企业也考虑到这个问题,如中国移动率先淘汰磁带库设备,中国工商银行也开始倡导无带化管理。两个龙头企业的大动作,将会对格局变化产生深远的影响。


如何才能跟上业务发展的步子,满足技术要求呢?很多信息技术企业多年来致力于此,看看那些摆脱了磁带库的用户,摇身一变,原地变身人生赢家。



某保险公司

之前电子影像全部存储在NAS上,往磁带库上备份一次要2天。NAS上存的文件多了,性能特别差,因此只保留3个月的,想要找老数据,去磁带上寻。能不能找回来,看运气。业务需求不满足,还有合规风险,就怕监管来检查。现在换了新的存储方案,不用备份数据也不丢,随时调取存档数据,合规检查应对自如。


某媒资公司

之前视频全归档到磁带库里,用的时候先花半小时恢复,工作效率严重制约。加工过程文件也没地方存,员工辛勤成果不能保留。现在换了新的存储方案,视频和加工文件在线读取,实时秒级回调。




什么存储方案这么牛?

Hitachi Vantara HCP云存储平台!

牛在哪里?


  • 非结构化数据不备份

  • 结构化数据备份永不失效



怎么实现的?

我们通常把数据分成两种,结构化数据,如数据库;非结构化数据,如日志、影音。两者区别很大,一个是大量的连续块,一个是随机的小文件。传统的数据管理,最大的问题没有把它们区别对待,全部按照标准数据进行存储和备份,也就造成为解决问题而产生了问题。


HCP是长期保存数据的可靠介质

目前数据库的备份普遍采用备份软件来完成,将数据落地到磁盘存储。数据库备份对性能是有比较高要求的,因此备份落地到磁盘存储是一个比较好的选择,但是考虑到它的成本比较高,因此一般建议保留近期数据,长期的数据还是要迁出到磁带。备份一体机呢?它同样是磁盘存储,并且软件成本高,只适合近期数据保存。总之,传统的备份方法无法绕开磁带,就不能避免数据不可读的事件发生。

HCP作为长期保存的介质,可以避免数据不可读的事件发生。它采用数据指纹采集,配合多复本,进行自我修复。对每个文件进行HASH算法,当文件的HASH值与存入时的HASH不符时,认为文件损坏,使用其它复本进行自动修复。


HCP免备份方案

目前用户备份环境中遇到的备份问题,很多是非结构化数据备份作业引起的。就像我前面介绍的用户,海量的非结构化数据备份占用大部分的资源,导致所有备份作业都受到不同程度的影响。试想一下,如果没有这些非结构化数据对资源的消耗,也就不会有超负核工作,就也不会有高故障率,用户的成本也会大幅降低,人员也不会有那么大的压力。解决非结构化数据备份最好的办法是什么呢?就是不备份。这不是玩笑,是已经实现了的。


备份的目的就是防止某些场景下数据丢失,如果能做到在这些场景发生时数据依然不会丢失,那备份也自然就不需要了。具体的场景有什么?第一、硬件故障,例如磁盘损坏;第二,逻辑错误,例如比特位错误;第三,人为错误,例如误删除、病毒。Hitachi Vantara的解决方案是如何应对这些场景的?

  • 硬件故障:磁盘采用20+6一组的纠删码,同组中6块盘以下故障不会丢失数据;跨磁盘笼和跨机柜的纠删码,保证在一个磁盘笼或者一个机柜故障时数据不会丢失;容灾复制,多套系统进行数据同步,保证数据中心级别故障时数据不会丢失。

  • 逻辑错误:采用数据指纹采集,配合多复本,进行自我修复。对每个文件进行HASH算法,当文件的HASH值与存入时的HASH不符,系统认为文件损坏,使用其它复本进行自动修复。

  • 人为错误:WORM技术可以保证文件存入后不被修改,如果有修改需求,可以通过多版本技术对修改后的文件进行另存为新版本。


综合以上技术,在非结构化场景中,不需要对数据进行备份也可以保证文件不会丢失。


如果结构化数据也用HCP作为存储,不是也就免备份了吗?抱歉,目前数据库还只能支持传统存储架构,并且HCP的处理能力与高性能要求的数据库场景还有差距。因此,目前HCP的主要场景是非结构数据保存和结构化数据备份,但是将来的发展值得期待。


归档数据快速回调

传统解决方案中,存储能保存的文件数量有限,并且成本较高。因此,需要长期保存的数据写入磁带中,使用时需要先进行恢复才能读取。即使需要恢复的文件只有一个,也需要对整盘磁带进行恢复才能读取。在某此场景中,一个业务查询会涉及到多盘磁带,因此回调效率非常差,无法满足业务要求。所以我们在生活中经常遇到一些情况,如业务员告诉您只能调取半年内资料,超过半年要额外收费。超过一年的,对不起,没有。这就是传统数据存储架构的限制,调取数据非常复杂,效率非常差,需要额外的人工,甚至根本无法调回。等发现证据时,丁义珍们早就坐上美联航跑路了。


HCP对文件进行在线存储,无论是近期数据还是永久保留的数据,全部支持实时查询,不需要恢复过程。降低了企业的成本,也降低了消费者的成本,实现高效业务模式。


HCP解决方案成熟吗?

到目前为止,全球有超过2000家用户使用了HCP,解决了数据存储的难题,为业务发展提供了绝佳的技术支持平台。成功案例涵盖金融、电信、政府、制造、交通、医疗、教育、媒体等多个领域,满足各行各业的需求,成熟而且稳定。

总之,磁带库这东西太老套了,远远跟不上时代的节奏,是该说再见的时候了。长痛不如短痛,该下刀的时候别手软,有病必须要早治。希望全天下的IT民工兄弟们不再遭受磁带库的折磨……关爱IT民工,从HCP做起!




    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多