|
1 认识大数据
相信大家都还记得2013年5月10日淘宝十周年晚会上，阿里巴巴集团董事局主席马云在其卸任集团CEO职位的演讲中说到：“大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”
什么是大数据？
早在1980年，当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年，“大数据”才开始成为互联网信息技术行业的流行词汇。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术，或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务，而这些事务在小规模数据的基础上是无法实现的。换句话说，大数据让我们能够以一种前所未有的方式，通过对海量数据进行分析，获得具有巨大价值的产品和服务，或者深刻的洞见，进而最终形成变革世界的力量。
2 大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么，然而究竟我们能获取到什么呢？
一个被广为传播的典型案例是：在2012年初美国的一家Target超市，一位愤怒的父亲突然闯进来对店铺经理咆哮道：“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”经理下意识地认为是店里出了问题，也许是误发了优惠券，于是立即向这位父亲道歉。然而经理却没有意识到，其实这是公司正在运行的一套大数据系统得出的分析结论。
公共服务。一方面，公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用，从而提供更为广泛和深度的公共服务，如实时路况和交通引导；另一方面，公共机构也可以通过对某些领域的大数据实时分析，提高危机的预判能力，如疾病预防、环境保护等，为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘，从而有效提高政府决策的科学性和时效性。例如：日本大地震发生后仅仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。并且随即NOAA通过对海洋传感器获得的实时数据进行了计算机模拟，制定出详细的应急方案，并将制作的海啸影响模型实时发布在了YouTube等网站上。 3 大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及，通常指的是解决问题的一种方法，即通过收集和整理生产生活中方方面面的数据，然后对其进行整理、挖掘、分析、处理，进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为，但要实现这种通常的行为，往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是：大数据包络万象，而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长，加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据，现有的，或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
这就意味着传统计算的低效正在为企业发展带来阻碍，企业感到当前的IT系统变得更加复杂且难以管理。数据显示：企业用于运营和维护IT系统的费用已经超过整体预算的70%，并且这一比例仍在持续增长；企业有三分之二的IT项目及解决方案部署超出了原定计划；IT架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了：IT部门，这个曾经作为企业现代化和创新化能力标志的部门，正越来越成为企业新创新的阻力而非动力。
怎么办？
很多人立即想到了另外一个热词：“云计算”。
首先，在基础平台上摒弃了分布式的服务器架构，而是采用大型服务器在基础架构上对处理能力、I/O吞吐和主存储进行了整合，这样做的最大亮点是，将原有成百计的分布式服务器整合到了个位数，极大地节省了空间和能源，做到绿色环保；因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配，节省了相当数量的管理人员；另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架，有效帮助信息中心实现中心控制，实现极高的性能。
其次，在整合的基础平台之上，采用“云计算”框架虚拟化设计，实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机，在统一云管理软件URM的配置下，能够提供统一的管理视图和管理机制，简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的SAN网络架构，具有很好的稳定性，能为前端各应用提供可靠的数据存储平台，并且整个SAN网络中的部件都配置了双冗余组件，保证任一部件的损坏不会影响整个系统的运行，而关键数据库的数据都通过合理的备份策略，定期备份在了物理磁带上，保证关键数据的绝对安全。
总结下来，整合的基础平台，“云计算”框架的虚拟化设计，和定制化的高速存储，打造出了最稳定、最可靠、最安全、最绿色的运行环境，让政府的大数据应用完美落地。
可见，大数据的解决方案不同于纯粹云计算的解决方案，虽然云计算带来了看上去更便宜的处理能力和存储能力，但对于往往都有相当数量级规模的大数据应用而言，在基础架构上巧妙地整合和部分的集中，反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。
4 结束语
大数据为云计算大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题，海量的数据需要足够存储来容纳它，快速、低廉、绿色的数据中心将成为这一切的关键。
然而大数据并不意味着整合的、集中式的服务器架构已走向了末路，相反，大数据所带来的规模效应，使得我们越来越需要更加高效可靠的大型整合的混合负载服务器，巧妙地整合和适当的集中，将成为大数据解决方案里重要的一种思想和方向，特别是针对关键行业的核心数据，高安全、高可靠、高稳定将始终是使用者的首要考虑。
参考文献：
[1] 维克托·迈尔-舍尔维恩，肯尼斯·库克耶.大数据时代[M].杭州：浙江人民出版社，2013.
[2] 2013全球大数据[J].互联网周刊，2013，（1）.
[3] 应对“大数据”的卓越基础平台[J]. IBM整合新能力助力新民生高峰论坛，2013.
|
