智慧城市大数据服务平台

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特征主要体现在数据规模总量大、增长速度迅猛、数据来源和类型多样、数据的价值巨大。通过对海量的由结构化、半结构化和非结构化数据组成的大数据挖掘、处理、整合分析，可以发现新知识，创造新价值。面对智慧城市中各类数量庞大的大数据，尤其是空间、视频等非结构化的大数据，数量种类繁杂、格式多样。应积极面对挑战，通过充分发挥云计算的优势并重点研究数据挖掘理论，对大数据进行有效的存储和管理，并快速检索和处理数据中的信息，挖掘大数据中的信息与知识，充分发挥大数据的价值基于云计算技术，建立从基础设施、数据、平台到服务的一体化的时空信息云平台，将空间大数据、视频大数据以及各类应用中的大数据进行有效管理，并按照实际需求进行处理、存储、管理，并提供相应服务，保证平台数据服务的持续可用，满足交通、物流、城市管理、旅游、安防、应急等各行业和城市综合的智慧应用。

面对智慧城市中种类繁杂的海量数据，最重要的是实现数据实时有效的储存、方便调取，智慧城市大数据服务平台的云存储设计能够很好地解决这一问题。以Hadoop^[注]分布式文件系统（HDFS）为基础构建云存储平台，存储功能主要由数据库与HDFS共同承担。存储功能模块大量文件的读取、写入操作的实现效率的提高直接关系到整个云存储平台的性能。引进Hadoop系统对整个文件当中的元数据开展相应的数据管理，有效避免保存在数据库当中的大量元数据信息与文件信息受到来自服务器端的影响。运用主要处理大数据中并行计算问题的MapReduce技术对大数据的相关计算进行处理。通常一个MapReduce有映射函数与归约函数两部分构成，映射函数能够实现对键值对数据的更新，归约函数主要是确保所有键值对中的每一组都能实现键组的共享。借助云平台将大数据中的任务进行分解，然后将其分别安排到不同的节点下面，通过相应的并行计算来进一步提升实际云平台的性能。

基于云计算的智慧城市大数据服务平台，是一个由物联网、大数据、云计算结合的大数据服务平台，平台自底向上分别为物联网监测中心、大数据中心、智慧城市服务云计算平台。其具体运行为：首先将物联网监测中心采集的智慧城市各行业、领域的数据资料，通过网络传输到大数据中心，数据的格式可以是结构化的或非结构化的。接下来，采用虚拟化等核心技术搭建的云计算平台，实现数据云存储、云计算、并提供相应的云服务。用户可以通过浏览器、客户端应用程序、平板电脑、智能手机等各类终端访问云端各种数据资源、计算资源。智慧城市大数据服务平台建设作为智慧城市建设的重要组成部分，是智慧城市能够合理有效运行的关键。平台中储存着智慧城市以及各行业领域的基础信息，任何软硬件故障导致的服务不可用都严重影响智慧城市的管理。

智慧城市大数据服务平台需要解决的关键问题：①理顺城市应用与云中数据的关系。②构建智慧城市大数据云服务平台，完成物联网云端信息迁移，实现私有云和无线传感网数据采集的对接。③利用软硬件资源，结合虚拟化技术，建立云存储模式，完成对数据的组织。④将面向服务架构（SOA）作为基础框架建立虚拟化城市大数据云计算平台，搜索调用机制，利用异构计算来实现多元化的城市数据计算与访问，从而对云计算平台的性能提升进行研究。

智慧城市大数据服务平台的建立，能够快速高效的处理格式多样、庞大繁杂的智慧城市数据，帮助相关部门更好地分析智慧城市建设过程中存在的问题，深入分析并找寻最佳解决措施，利于对城市进行管理。