云计算的数据存储技术

云计算存储技术具有比较明显的两个特点：第一是高传输率，第二是高吞吐率。当前，云计算存储技术比较主要有谷歌开发的非开源的GFS和 Hadoop 团队开发的HDFS 技术。不过后者在 IT 厂商应用的比较广泛。

1 Google File System

Google File System 简称 GFS，这种存储技术不仅开源扩展，而且是分布式的，广泛应用在分布式的数据访问。它的硬件价格比较低，但是却提供了容错的功能。每一个 GFS 都是由一个 master 和多个 chunkserver 构成，能够提供多用户的访问权限，只要用户的访问资源不受限制。chunkserver 可以和访问同时进行。GFS 系统文件被分成很多个小块，每一个小块的标识是 chunk—handle，chunk—handle由 master 分配。为了保证数据的安全性和可靠性，GFS 系统文件会被复制在多个 chunk—handle 上，文件的副本由用户决定，master 会对系统文件进行维护。比如系统访问控制、空间名字。此外它还可以控制系统的活动范围，chunkserver 间的迁移和单个模块的垃圾收集等。master 还会定期发布指令给 chunkserver，让 chunkserver 收 集 它 的 发 展 状 态。 目 前 谷歌公司开发的 GFS 客户代码基本已经实现了系统文件的 AP，所以用户与 master 的数据交换，之限制元数据操作，存储数据直接和chunkserver 联系，chunkserver 和文件数据客户不会缓存。

2 Hadoop Distributed File System（HDFS）

Hadoop 分布式文件系统是 HDFS 由多个存储数据的终点和管理节点构成的。它的中心服务器是 namenode，客户端和文件管理系统namenode 对文件进行访问。每一个 namenode节点都有一台普通的计算机对应，运行时与单机计算机文件系统类似，可以在文件系统常见名录、更改文件名。其实系统的底层已经把文件分割成了 Block，并将这些 Block 进行不同的存储，从而达到容错的目的。namenode 是HDFS 文件系统的核心内容，它可以维护一些数据结果，再把记录文件分割成 Block，并在namenode 获得相关的消息。

云存储已经是未来存储的一种趋势。当前各大云存储运营商正在积极开发应用技术、搜索和云存储相结合的技术，为用户提供更加便利的服务，但是云存储的发展还须加强云存储的安全防护功能和技术研究。

ETHINK数据智能分析平台提供本文