中国移动：哪一种网络存储适合弹性云2010-8-10 10:40:48 文/张东升 出处：IT.com.cn(IT世界网)
二、检阅当前流行的网络存储系统 Hadoop DFS Hadoop 的集群文件系统HDFS，当初是为了满足爬虫应用而设计的廉价存储集群。主要特点是：可支持廉价的异构机器搭建集群;面向大数据块;只能append修改——对于顺序写入提供高吞吐的性能、有很好的数据安全性性和可用性——数据存多份，且能对客户透明的进行failover(稍有遗憾的是，其master好像是个单点)。而且可支持在线扩容，负载均衡。 但遗憾的是显然它不能满足“支持异步访问，支持以扇区大小为单位变长的随机读写”，“客户端不能缓存数据”等要求。 Gblobe file system Redhat 的Gfs是一个标准的并行文件系统。它支持本地文件一般的随机读写(按照offset)。且具备不错的性能。 但它的设计初衷是建立在规模有限的可靠集群上的，也就是说几百台机器的集群，且机器的存储安全是依靠raid等硬件技术保证。因此我们不能说其是个廉价的系统。再就是并行文件系统需要用锁来保证各个客户端所见数据的一致性，而对hosting的一致性来说——只需要保证给定客户端所见数据一致就好——有些杀鸡用了宰牛刀啦，带来了不必要的overload。 Dynamo 亚马逊的这个系统我着实喜欢(曾经自己和朋友剽窃其思想开发过那么一个)。它几乎能满足上述所有要求。 但是只是数据一致性问题上差了那么一点点 —— 它走的是最终一致性路线。当然改造改造，也凑活能用。比如用时间戳进行读时的集中决策，选择最后时间戳的为准。但这个时间戳需要由客户端打上(如果服务器断打的话，则需要集群内部时间同步，这太累啦!)，因为我们是面向客户端的一致性就可以啦。不过再VM迁移时，你可要注意，别目标机器时间慢于原机器的时间太大，那样就不成啦(如果是秒级别的，迁移时有意阻塞一下I/O到是可以避免错误)。但总的说来，dynamo的一致性保证用在Hosting 环境下玄了点。 Memcachedb 也是key value存储系统，但它好像没有做数据多副本冗余要和failover切换。那机器坏了怎么办呀(没用过，只是看了看文档)。 还有很多存储系统，如Redis,Cassandra,pnfs等，都可在上面几个典型的系统中找到其共性，这里不多说了。 就我个人来看，目前这些开源系统还没有那个完全理想，不过也都有很多不错的特性，理清需求后取博众家之长必能整出来一个理想的hosting存储系统。需求说清楚了，设计其实不是大难事啦(不是说现在是技术过剩的时代吗!哈哈)。 分析到这里就差不多了，我们就权当现在有这么一种理想的存储系统，那么我们有如何接入到虚拟化环境中啦。下面就讲讲这个。
|
|
|
