|
随着国民经济的发展和互联网技术的普及，数据量呈指数型爆炸增长，对海量数据进行快速并行处理的显得极为迫切。数据量的剧增，不仅造成数据中心规模的增大，也使得碳排放和耗电量的不断激增，而数据中心服务器的存储效率普遍很低。云计算在面向大规模科学计算及工程计算等领域已取得许多成功的案例，但在电站工程应用领域尚处于起步阶段。目前，电站数据中心还远未达到新一代数据中心所要求的海量数据存储与计算、自动化管理、节能环保与高可用性的水准。同时，电站数据中心多采用总部与电站的两级分布式结构，面对数据中心数据统一管理的发展趋势，应进一步整合数据资源，解决数据交换之间的瓶颈问题，提供统一的数据中心监控管理平台，从而降低管理成本，提高数据处理效率。 本文在分析现有电站数据中心的逻辑结构与功能的基础上，研究了服务器虚拟化与虚拟机的实时迁移，并对现有电站数据中心的服务器等资源进行虚拟化，提高资源利用率。设计了基于Hadoop的电站数据中心云计算平台，为电站的并行计算、数据挖掘与辅助支持等高级应用提供海量数据存储、管理与高性能计算环境。 云存储是在云计算概念上延伸和发展起来的一个新概念。云存储技术是支撑多电站资源整合的关键技术，利用虚拟化、集群应用、网格技术和分布式文件系统等技术，将服务器、存储设备和其他硬件视为一个资源池，用来容纳各种不同的工作模式，这些模式可以快速部署到物理设备上，并且按照用户需求动态地分配资源。云存储的核心是通过应用软件来实现存储设备向存储服务的转变，将数据中心建设成为一个多设备、多应用、多服务协同工作的高效云集合体。 1.1 支持海量存储与动态扩展 电站数据中心的存储空间位于不同地域，云存储系统采用集群技术、P2P技术和网格技术，允许数据中心通过增加存储服务器和存储节点对存储系统进行扩容。云存储系统通过高效的并行调度策略为不同电站的用户分配相应的目标存储服务器，使得数据中心的存储服务器总体负载均衡，在确保用户访问效率的基础上达到较高的存储利用率。此外，云存储系统实现了资源的集中监控和动态管理，云存储空间可根据业务和需求进行任意伸缩、实时调整，避免了由于存储空间长期空闲而造成的资源浪费。 1.2 虚拟化技术 存储虚拟化技术，是通过将一个（或多个）目标服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。由于所有的用户共享同一个云空间，因此用户数据的安全性和独立性受到一定影响。通过存储虚拟化技术，将一个或者多个存储介质集合在一个存储池中整合、管理，可以将数据进行逻辑隔离，并按照业务类别和服务需求分配资源，增加异构存储服务器的数量从而实现分布式存储，以统一模式访问虚拟化后的接口实现存储能力的扩展。为确保用户数据的安全并可靠地访问虚拟空间，除采用虚拟化技术对物理存储区域安全隔离外，新用户访问云存储空间时，必须经过安全认证并获得证书。对于一些核心数据和用户隐私数据，当数据上传到云存储空间时必须加密，确保非法用户截获后无法破译。 1.3 提高存储效率 传统数据中心的存储介质多以磁盘或磁带库为主，系统进行硬件升级时往往要中断数字服务，这就导致了存储效率低与异地备份成本高的缺点。电站数据中心往往分布于不同的地域，通过虚拟化技术将存储设备逻辑划分成不同的存储区域，将所有存储设备划分为整体资源池统一管理维护，形成一个多存储、多应用、多服务协同工作的共享存储虚拟架构，并保证逻辑分区与存储设备之间的安全隔离与可靠传输。因此，电站数据中心应该根据业务特点与用户需求执行安全、高效的存储与备份策略，借助于高效的云传输网络，可以轻松、高效地实现云存储设备和存储区域网络间的协同工作与资源共享，有利于数据安全保存和存储系统间的负载均衡。 2.1 坚持安全性原则 与传统存储系统不同，云存储系统具备更少的安全漏洞和更高的安全环节。数据安全性的问题贯穿于云存储架构的各个层次，复杂的基础设施资源与较高的服务要求对维护数据的永久性和真实性提出更高的要求。加强数据中心云存储设备在安全防范、非法用户入侵、数据结构错误、数字资源备份以及数据迁移等领域的管理，为各个电站进行可靠、高效的云计算提供前提和保证。此外，云存储架构的复杂性和云服务的多样性对数据中心的工作效率与可靠性产生较大影响。因此，安全性是电站数据中心建设首要考虑的问题。 2.2 提高数据处理效率 电站数据中心具有用户数量庞大，并行存取海量数据及业务类型多的特点。如何在复杂环境下，提高数据中心基础设施资源的利用效率和数据库用户访问效率，确保安全、高效、准确、全面地存取数据，是电站数据中心云存储方案设计考虑的重要因素。电站数据中心的数据库中存储有大量的重复数据或者冗余数据，通过对重复数据有效删除，以及采用数据压缩、虚拟化整合等有效的存储策略，减少数据存储空间占有率，提高数据存储速度和数据管理效率。同时，加强电站数据中心虚拟化管理、配置、操作流程的标准化、自动化水平，使云存储系统具备自动检测电站数据中心基础架构变化，能够按需实现最佳处理方法、最优业务流程、优先级自动配置及系统自我修复，实现服务的最优化交付。 2.3 加强可用性与健壮性 云传输网络是云存储基础设施之间数据交换的基础，是电站数据中心对存储区域设备监管、控制的平台，存储区域网络的安全和健壮性关系到云数据存储的安全和效率。随着云计算与存储技术的发展，云计算与云存储基础设施能够满足云数据安全、高速读取的要求，但云存储区域网络数据传输能力是制约数据交换效率的主要因素。因此，要加强云存储区域网络传输高效性、安全性、健壮性、冗余性的建设，消除影响云存储区域整体性能的瓶颈因素。当发生不可预测的数据灾难、云传输网络故障、系统数据迁移升级及对存储架构进行更改时，必须确保电站数据中心的数据安全与云服务的高效性与不间断性。 2.4 提升可操作性和智能化 云存储系统管理员应根据业务类型和服务需求制定高效的管理策略，以确保系统一直处于最优状态。此外，文件系统执行数据检查校验和判定，以确保用户发送、存储数据的一致性，减少数据远程传输的误码率。同时，云存储系统应根据用户访问的特点，对数据进行分散操作，最大限度减少存储热点，确保平衡存储。云存储系统还应具备智能化的业务部署能力，能够自动进行网络启动、故障报告、故障判断和告警处理等各方面的能力。为了加强管理决策的科学性，还应进行软件使用频率、信息容量、分组统计等数据统计，为云存储系统管理决策提供数据支持。 本文在云计算特性的基础上全面考虑数据传输次数、数据集大小以及数据中心间网络带宽等因素。通过聚类分析、依赖性分析和一致性哈希算法对多数据中心的数据集分布进行统筹规划，并引入系统执行效能的代价函数对数据分布方案进行评价和调整，从而在降低系统开销的同时最大限度地兼顾数据集间的依赖关系。 想知道后面说了什么吗？点击“阅读原文”观看全部文章内容 ——电力信息化创新战略联盟 关注我们 |
|
|
来自： 昵称16619343 > 《办公技能》
