存储利旧云化改造方案
2015-10
第 1 页 共 12 页
目录
1. 方案概述 .................................................................. 3
2. 现状分析与挑战 ............................................................ 3
2.1. 现状分析 ............................................................ 3
2.2. 面临挑战 ............................................................ 3
3. 解决方案设计 .............................................................. 3
3.1. 指导思想 ............................................................ 3
3.2. 总体框架 ............................................................ 4
3.3. 系统组成 ............................................................ 4
3.4. 系统优势 ............................................................ 6
4. 客户价值 .................................................................. 7
5. 案列分享 .................................................................. 7
第 2 页 共 12 页
一、方案概述
随着国家对社会治安的越来越重视， 在平安城市的建设中视频图像也越来越高清化， 原
来视频点位已不能满足现实需求， 因此有了平安城市二期和三期的建设。 在大量视频点投入
和视频高清化后， 原有的存储系统也不能满足现实需求， 如果重新建设新的存储系统就会占
用大量资源， 而且原有资源也不能再利用造成大量的浪费， 基于对城市存储系统的深入分析，
我们推荐使用云存储改造为公安局架设统一云存储系统，通过其高性能、高 IO、高可靠、
易扩展、易管理的五大特性，从存储底层来保障公安行业相关应用的安全稳定可靠的运行。
二、现状分析与挑战
（ 1）现状分析
旧存储为 XX 品牌， XX 年采购，共计 XXT 存储容量， 架构为 SAN+NAS，一个机头 +3 个
盘柜， FC 交换机为 XX 品牌。目前放到分局使用，容量已不够，现阶段迫切需要解决的问题
是存储空间扩容的问题，同时对陈旧设备整合有一定要求，保护现有投资。
（ 2）面临挑战
警务平台现阶段用户所面临的瓶颈依然是性能问题、 安全性问题、 扩展性问题以及管理
问题
1、性能瓶颈
针对智能分析等应用数以万计的小文件使得存储系统针对个别文件的索引速度降低， 往
往查找数据和读取数据需要等待很长的时间。
2、安全隐患
视频监控平台，智能分析平台等海量数据下，传统 Raid 安全难以保证在磁盘故障率越
来越高的情况下数据的安全，且硬盘级别的安全机制已不适用于大规模的数据存储平台。
3、扩展问题
长时间保存的视频文件， 案件资料等海量数据占用空间每时每刻都在增长， 越来越庞大
的数据规模如果扩展存储平台将是越来越多警务平台存储所面临的问题。
4、管理问题
海量数据下如何做到统一管理和统一分配空间是传统存储所不能及的。
5、投资保护
新设备的加入无法保证旧设备的高利用率，无法保护现有建设的投资。
现阶段存储容量已不够，迫切需要解决的问题是存储空间扩容的问题，同时对陈旧设
备整合有一定要求，保护现有投资。
三、解决方案设计
（ 1）指导思想
第 3 页 共 12 页
1．充分利用原有存储设备不浪费。
2．新存储设备和原有存储设备通过云平台改造可以通用，实现一体化管理。
3．云平台建设要突出安全性高、高性能、扩展性强、高可用性强、操作简便、易整合
等特点。
（ 2）总体框架
云存储平台架构应用了国际领先的分布式 HxStor 全局文件系统作为支撑，可支
持海量的环境信息数据处理。计算性能与数据处理规模可以动态伸缩。未来可以自由
的扩展，满足不断增长的应用需求 。 将所有硬件资源构建成一个大的集群资源池，将
处理性能、缓存、带宽聚合按需分配资源。服务应用不再与硬件一一绑定，即一个硬
件不再单独为一个硬件服务，资源从专有独占的方式转变为完全共享方式，现实自动
化的管理， 故障自动迁移恢复， 不需人工干涉。 通过 DRS 技术自动合理分配资源， 自动休眠。
透明的 IT 资产管理，清晰的网络运维情况，在线人数检测 ，设备使用率在线检测。
原有存储云改造：原有存储两台 SNA 设备分别挂接到两台 PC 服务器和新增两台 X86
架构存储一体机构成云节点， PC 服务器和 X86 架构存储一体机上分别部署互信 HxStor 云存
储平台软件共同组成云存储池，为应用平台提供存储空间。
（ 3）系统组成
1．原有存储 SAN 设备挂到 PC 服务器下，作为云改造节点。
2． X86 架构存储一体机（ 16、 24、 32 等盘位）做为新增云节点。
3．云平台软件 (HxStor)构成：
第 4 页 共 12 页
应用系统 应用系统 应用系统
存储集群访问客户端 HxStor AP
（ POSIX、 NFS、 iSCSI）
虚拟存储池
元数据集群管理引擎
MDSC
对象存储集群管理引擎
OSSC
存储系统
交换网络
IB、 1GbE、
10GbE
A.元数据服务集群管理模块：
存放整个文件系统的元数据， 管理整个文件系统的名字空间。 提供单一的系统映像， 部
署在一组通用 X86 结构的 PC 服务器上。
B.对象存储集群管理模块：
存储应用系统的文件数据， 具有故障探测、 自我修复功能， 内置独特的文件存储与备份
机制， 每个文件被系统分割成多块后按一定规则存放在多个存储服务器中， 并且每块文件在
其他服务器中至少有 1 份备份（根据安全和性能需求可设定为多份） ，这些软件部署在一组
通用 X86 结构的 PC服务器上。
C.访问客户端：
对上层提供标准 POSIX语义的访问接口和统一的文件系统映像， 响应上层应用对文件访
问请求并通过内部私有协议高速访问后端集群存储上的文件数据， 形成对上层统一的虚拟存
储池。 访问客户端软件可以安装在应用系统服务器上， 对应用系统提供访问存储的文件支撑，
也可以单独安装在一组服务器上并与 NFS或 iSCSI系统结合。 为了更好的支持高性能计算或
虚拟机应用场景下对高 IOPS的要求， （ HxStor） 提供高速缓存模块 SOCache（ SuperIOCache） ，
利用高性能的 SSD盘做访问客户端的二级缓存， 大幅提高性能， 同时在两个访问客户端之间
使用 InfiniBand实现高速缓存同步，即时备份和保护用户数据。 SOCache部署在 HxStorAP
的服务器上，可根据用户实际需求进行选择。
第 5 页 共 12 页
标准访问客户端 HxStor集群存储
对象存储集群管理引擎
高性能访问客户端
SOCache
元数据集群管理引擎
IB
（ 4）系统优势
1．在线扩容能力
A、存储支持在线扩展，当存储空间不够后，直接增加新的存储设备，就可以看到存储
空间的增加，应用不用进行停机操作。而传统存储，由于提供的为卷设备， 无法进行方便的
扩展， 扩展的时候需要将大量数据导出－增加设备－数据倒入的操作， 在扩容的时候需要停
止应用且扩容周期较长。
B、 随扩容性能提升， HxStor 的架构对决定其存储访问效率与存储设备数量有直接关系，
随着存储设备的增多其访问效率也将近线性增加。 传统磁盘阵列， 架构所限， 后端盘柜的扩
展并不能影响机头的能力，无法实现存储性能的近线性增加。
2．原有存储改造
可以将现有磁盘阵列接入系统。 对于磁盘阵列起到利旧作用， 同时依靠数据副本技术提
高其可靠性，同时可以对所有纳入 HxStor存储的空间进行统一管理。
3．数据副本高可用
存储系统采用数据副本技术，准许 1～ 5台设备同时故障而不影响应用访问。例如有 10
台我们当存储设备， 对于关键数据我们做了 6份副本， 如果有 5台存储设备完全故障， 对于该
关键应用来说也将不受任何影。
4． HxStor存储系统可以输出多种接口
Linux Posix 接口，用于 Linux 系统应用使用，文件级别接口，效率高。 ISCSI 接口，
用于支持桌面虚拟化，特点为高 IOPS。可 NFS、 CIFS， windows、 unix 操作系统访问使用，
windows、 unix 操作系统可以获得海量数据存储能力。
第 6 页 共 12 页
四、客户价值
1．保护原有投资
针对原有存储系统有效整合，让原有投资不浪费，继续发挥存储作用。
2．数据高安全性
HxStor 系统不仅可以把存储安全级别从硬盘 RAID 级别提升到物理节点级安全， 彻底颠
覆了传统存储系统架构，更加有力的保障了存储数据的安全性。
3．满足高性能要求
在实际应用环境中，多台应用服务器同时并发访问存储时，对存储的性能要求十分高，
本套集群存储系统聚合所有网络带宽，对外提供服务，正好满足了对存储系统性能的要求。
4．提高业务连续性
在存储系统安全性得到保障的同时， 大大的提高了前端应用服务器访问后端存储设备的
安全，减少了故障发生的概率，大大的提高了业务连续性。
5．应用场景介绍
平安城市
公安分局存储扩容改造、 市局存储扩容改造、 公安网、视频专网、 社会资源接入网存储
扩容改造、智能分析等海量数据存储。
五、案列分享
HxStor 在 CNGI 科学数据云中云存储改造的应用 :
1．项目背景概述
面向科学数据管理的云存储环境（简称科学数据云）作为中国下一代互联网示范工程
(CNGI 项目 )的 CNG-CstNet 的重要组成部分， 主要为科学院系统遍布全国的 100 多个科研院
所、八万多科研人员以及上万个课题组服务， 为这些单位用户、个人用户、 集体用户提供基
础的虚拟资源存储服务， 同时考虑各地现在存储设备利用通过云存储改造逐步建设适应科学
数据管理的数据交互、数据处理、数据备份服务，为将来科学数据归档中心建设奠定基础。
第 7 页 共 12 页
2．项目总体结构
在 CNGI 国家科学数据云项目中北京互信互通信息技术有限公司根据现实情况充分利用
了各区域的现在存储设备， 通过和 PC 服务器对接和新增 X86 架构造体机一起成为云存储平
台节点，全面采用了 HxStor 集群存储系统，为科学数据云平台提供方便高效的存储支撑、
应用访问支撑。
目前已经采购 HxStor 集群文件系统多套（共计容量 5PB） ，形成了比较完善的协议栈，
满足不同类型用户的需要和未来应用扩展的需要。
3．应用与部署情况
第 8 页 共 12 页
?分布式集群存储系统 HxStor 将根据需求部署中科院多个分院数据中心。
?每套 HxStor 集群存储系统均基于标准 X86 存储服务器构建。
?数据中心间通过科技网（ IPV6/IPV4）网络高速互联。
?建立统一存储管理层：
根据分院地理位置将用户访问与某中心 HxStor 存储绑定；
提供统一用户管理能力，包含用户认证、计费、空间划分；
提供多种接口，应用可以通过 SDK 直接访问存储，对于高性能计算的支撑则可以通过
NFS、 HxStor 客户端等标准 PoSix 进行访问。
?目前已经有多个院所在科学数据云上开展工作， 包含多个多家重大专项项目， 提供
院所内办公文件存储、院所个人数据存储以及科研计算等多个方面。
第 9 页 共 12 页
|
|
