大数据应用与实践（8）
胡经国
开源NASA(美国国家航空航天局Apache软件基金会
OpenStack为私有云和公有云提供可扩展的弹性的云计算服务。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。流程取样衡量绩效量化管理战略目标业绩绩效计划大数据在安防领域的应用
大数据在安防领域的应用已全面展开，安防已进入大数据时代如何利用音视频分析技术从这些数据中提取有效信息，找寻到对应的线索，是大数据挖掘的价值所在。安防行业大数据应用现状
在大数据时代，作为海量数据的主要来源之一，安防行业相关应用产生了大量的信息数据特别是在当前大集成、大联网的环境下，数据量呈现出了飞速增长的趋势海量数据也带来了数据整合、数据存储、数据分析应用等一系列问题。通过寻求解决这些问题的方法，也进一步促进了大数据技术和产品在安防行业的应用。
当前安防行业本身的数据资源主要是视频资源基于视频资源去比对、去关联、去拓展；而视频大数据处理主要还聚焦在数据的体量上因此无论是在数据分析应用的深度和广度上，数据价值的挖掘上，都无法满足精确防控、立体化防控的要求，无法更好的服务公共社会安全。安防行业大数据主要应用方向
安防领域大数据应用目前主要有以下两个方向一是智能交通，二是公共安全。
在智能交通领域，针对交通行业的海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的实时网络传输和快速持久化存储同时对任意节点图像进行显示，对任意节点视频进行流畅播放，实时进行比对报警，快速进行多条件检索并且将各类多媒体数据和车辆数据合二为一。
该系统可以实现对城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更加高效。
在公共安全领域，应用大数据辅助公安人员快速开展治安防控警情研判及指挥决策发掘公安信息资源价值。如犯罪嫌疑人追查，可通过输入嫌疑人照片进行人脸特征识别并且在所有视频中寻找该人脸犯罪嫌疑车辆追查可输入嫌疑车的照片或颜色、车型等相关特征在所有视频中寻找人车物的轨迹分析即在所有视频中按照特征查找指定的人、车、物并绘制其时空轨迹。安防大数据应用难点数据整合问题
不同来源的大数据分别存储于相互独立的系统中将这些数据集中于一个统一的平台，是安防大数据实施的基础性工作但行业、部门壁垒是最大障碍。即使只是公安内部的视频数据，各省、地市也互不相通，想采集集中也不是一件容易的事。即使集中后，如何找到这些不同类型数据之间的关系，从而挖掘出有价值的数据，也是一个难点。数据挖掘及分析算法的成熟度问题
对于安防数据中最重要的视频数据，对其进行智能视频分析和挖掘是很困难的事情。目前，除了车牌识别、人数统计等算法较为成熟以外，对视频进行事件分析、人脸识别、摘要等技术都还没达到大规模的商用水平这也极大地制约了安防大数据的应用。时效性问题
安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据特别是视频数据应用形式还要增加以事前预警、实时处理这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的需求。信息安全与用户隐私问题
安防行业，特别是公安行业对数据的安全性要求非常高这也是造成数据的区域隔离的重要原因。同时，在利用安防大数据上如何保护用户的隐私，也是一个非常重要的课题目前主要采用数据脱敏的办法。当务之急是要给安防数据的安全级别给予明确的分级定义不能一味强调安全而各自封闭，否则必将导致安防大数据分析成为无源之水。视频图像数据挖掘的难点识别什么特征
一副图像或者一段视频可以用无数角度的标签属性去描述，什么才是我们需要的属性特征这与我们需要达到的目的密切相关这就需要公安图侦人才来归纳结。识别算法开发难
由于是平面图像，因特征的识别主要原理是将图像区域中的轮廓、颜色、纹理与特征库进行比较。但是在同一个物体在不同监控角度的摄像头中显示出来的轮廓都不相同，因此无法做到准确识别。大规模数据处理难
即使做到了识别算法，但是如果要通过数据处理服务器的形式对大规模的视频进行结构化处理，这个建造成本巨大其能源的耗费在中国这个夏季需要限电的情况下也不切实际。警务服务平台大数据难点如何将不同报警运营服务商之间的数据整合在一起国多数报警运营网络尚未完成规模化建设用户规模大、跨省市运营的网络很少每家报警运营服务商的警情并发量不大，而且报警运营服务商之间普遍存在信息孤岛，很难通过大数据分析实现数据的增值。大数据挖掘是一个长期过程，需要企业不断尝试，挖掘出有意义的信息或规律，并将结果拿到市场上检验。大数据自身也面临挑战数据的运用仍面临多种技术难关的束缚大数据方面的人才比较缺乏大数据的产品尚不成熟等问题都制约着大数据在报警运营服务领域的应用。
下面，从桑德环卫云、阿里云蔚蓝地图、Vestas风电大数据个大数据应用案例，以应用背景、数据源、图说场景、实现途径、应用效果五个视角去观察大数据在节能环保领域的应用状况。桑德环卫云点亮智慧城市生活应用背景
绿水青山就是金山银山。儿时的绿水青山在许多地方已成为昨天如何重新拥有，清洁环境首当其冲。大数据、物联网、云计算等新一代技术的出现，无疑为环境清洁插上了一双隐形的翅膀，为解决环境问题提供了一剂良药。
“桑德环境”率先将自身环卫业务与互联网、大数据紧密结合在一起于2015年9月11日发布了环卫云平台
该平台以传统环卫服务为依托，利用互联网以及云计算等相关科技，构建以互联网环卫运营为核心的产业链，形成基层环卫运营、城市生活垃圾分类、再生资源回收、城乡最后一公里物流、环卫运营广告、环境大数据服务以及互联网增值服务融为一体的互联网环卫产业群。该环卫云平台的应用为智慧城市的建设添砖加瓦、开辟道路。数据源环卫工人联网数据
环卫工人基本信息、环卫工人分布数据、环卫工人工作数据等。环卫设施联网形成的物联网数据
环卫桶、环卫亭等环卫设施分布数据环卫桶、环卫亭等环卫设施使用情况数据等。环卫车联网数据
GPS信息、道路信息、运输信息等。图说场景
⑷、实现路径
桑德环卫云由采集层、网络层、支撑层、应用层组成在获取各种基础环卫数据的基础上通过支撑层进行大数据分析、安全管理、内容管理最终在应用层进行环卫运营管理、再生资源回收、快递物流、广告业务等服务。人员、车辆合理调配
通过环卫云平台对环卫工人、巡查人员、车辆的作业线路和作业时间进行合理规划，以此来实时监管、调配环卫人员和车辆。回收订单科学管理
环卫云回收业务可实现对回收订单和区域的规划，对回收订单以及库存的管理提供成本分析、盈利预测、智能决策等功能。环卫广告精准投放
环卫云广告业务管理平台能够实现对环卫车辆、公厕、环卫工人服装、垃圾亭、环卫垃圾桶广告的管理、投放和分析统计，能够很好地为众多商家、公司共同拓展利润空间。物流网络便利化
环卫云最大的优势是基于环卫工作的智能化、互联网化、机械化，环卫人员还可以完成快递的上门收取工作，形成覆盖城乡最后一公里的物流网络。环卫系统数据共享
环卫云利用大数据、物联网等相关技术，可连接环卫工作所涉及的各类环卫设备、环卫作业人员、数字城管系统等，实现对环卫设备、环卫管理人员全过程的实时监管以及数据共享，形成一个信息互联互通的物联网络。
2、蔚蓝地图环境治理风向标应用背景污染地图是阿里云于2014年6月推出的环境监测产品可实时监测190个城市以及3000家企业的污染数据2015年升级后更名为蔚蓝地图新增了空气质量预报、霾预警，以及水质、水污染源实时监控数据等功能旨在让公众参与环境治理，还世界一片碧海蓝天。数据源空气质量数据
主要是指废气排放数据，包括污染物浓度、标准限值、超标倍数、排气量等。其中废主要包括二氧化硫、氢氧化物、碳氧化物等。水资源数据
水资源分布信息、水源质量检测数据等。地理数据
城市信息、企业分布数据等。图说场景（图源：网络）
实现路径
蔚蓝地图APP在调用地理数据库及水资源数据库的基础上实时监测企业的废排放数据，并对多省市废气污染源实时排放数据进行汇总借助阿里云平台进行复杂的数据运算最终在蔚蓝地图APP上展示城市污染指数排名、企业废气排放与超标信息、雾霾预警、水资源质量检测信息。应用效果污染源信息公开
实时监测污染源信息并在APP上更新展示，便于群众及相关部门及时掌握污染源信息，督促相关部门第一时间进行治理。空气质量预报
通过废气排放情况快速计算空气质量指数，进行空气质量等级排名及雾霾预警。企业排污排名
在地图上清晰标注超标排放废气企业的名称，并标注该企业排放有害气体的控制指标检测值及标准对照值，其是否超标排放一目了然。城市环境评价
及时汇总多省市废弃污染源实时排放数据，对城市环境进行实时评价。风电大数据全面提升风电场效能应用背景
作为世界风能解决方案的领先供应商Vestas紧跟时代潮流，将大数据与云计算技术应用到自身风电平台致力于提升大数据在风场全生命周管理中的应用，全面提升风电场效能。
Vestas利用VestasOnline、SiteHunt、SiteDesign、ElectricalPreDesign收集数据并且在自有平台电厂控制系统、Vestas预测、商业SCADA系统进行建模分析最终实现气象预报、风能发大电量预测及风机性能整体优化，争做世界风电大数据应用的领头羊。数据源气象数据
风速分布日、月、季节、年、风向分布、气温、气压梯度等。历史运维数据
运行小时数、风机类型及运行状况、故障率等。地理数据
地形信息粗糙图、梯度图等、风场分布信息等。图说场景
⑷、实现路径
Vestas通过对气象历史数据、历史运维数据及地形数据进行建模分析并与已知数据不断比对优化最终实现气象预报、风能发电量预测及风机性能整体优化，进一步提升风电利用率。应用效果气象预报
在对气象数据进行建模分析以后可实现电力预报、天气预报、季节性预报及冰霜预报，防范即将发生的气象灾害。
风能发电量预测
结合大量历史运维数据，可在更短时间内预测风力发电量。风机性能优化
大数据技术的运用可提高存储能力、增强计算能力，实现风机故障预警，为优化风机备品备件管理提供数据支持，提升风机的整体性能
2016年5月30日编写于重庆
2019年12月4日修改于重庆
2022年5月7日修改于重庆
11
|
|
