传感网异构数据采集及数据融合技术的研究与实现

《南京邮电大学》 2013年

加入收藏 获取最新

传感网异构数据采集及数据融合技术的研究与实现

王金萍  

【摘要】：物联网(The Internet of Things, IoT)的信息采集需要多种传感网支持，由于感知的数据格式还没有达成一致标准，数据结构不同，语义各异，不同数据包格式需分别定义各自解析方式，增加了数据采集时的工作量、成本和时间。其次，传感器数据持续采集形成了海量数据，如果不能提出统一数据集成及融合方案，将导致反馈信息慢，反馈信息不完整等问题，物联网平台难以开发实现多业务应用。 在解决传感器数据所面临的数据包格式不一致的问题中，首先作者根据传感器与电表数据属性相似的特性，参考统一电表数据格式标准IEC61968-9（International ElectrotechnicalCommission,国际电工委员会）提出了传感器数据统一格式标准（United Form of Sensor Data,UFSD），定义了基于UFSD的统一XML(Extensible Markup Language,可扩展标记语言)格式。通过实验表明，该标准定义下的数据格式能够在多传感网络数据采集时，统一异构数据的转换格式，实现多应用系统间的数据无缝交换。 其次，为了给用户建立一个稳定的数据信息处理环境和统一的信息检索接口，论文提出一种基于MapReduce的数据集成及数据融合架构模型。论文对架构中各个模块做了重点分析，针对元数据信息存在的异构性问题提出了异构冲突解决方法，定义了用户统一信息查询的虚拟数据库及相似结构化查询语言；分析了系统架构中解析器模块视图分析及任务分配过程；分析了执行器模块MapReduce执行过程、管理过程及连接过程。实验结果表明，该架构模型能够在较短时间内处理多数据源海量数据，为用户请求提供完整而不冗余的信息。

【关键词】：物联网 传感网 数据采集 数据融合 虚拟数据库 MapReduce
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TN929.5;TP212.9
【目录】：

• 摘要4-5
• Abstract5-8
• 专用术语注释表8-9
• 第一章 绪论9-13
• 1.1 研究背景及意义9-11
• 1.2 研究内容11-12
• 1.3 本文的结构安排12-13
• 第二章 相关背景知识介绍13-19
• 2.1 物联网与传感网技术13
• 2.2 数据采集及数据融合概述13-16
• 2.3 虚拟数据库管理技术16
• 2.4 MapReduce 简介16-18
• 2.5 Hadoop 技术18
• 2.6 本章小结18-19
• 第三章 传感器数据包解析及数据采集19-33
• 3.1 物联网泛在智能业务平台模型概述19-20
• 3.2 物联网中传感网异构数据信息处理层20-23
• 3.3 传感器数据包解析及数据采集23-32
• 3.3.1 数据包解析24-27
• 3.3.2 多传感器网络数据采集集成环境27-29
• 3.3.3 基于 UFSD 协议标准的传感数据 XML 生成与解析29-32
• 3.4 本章小结32-33
• 第四章 基于 MapReduce 数据集成及数据融合架构33-53
• 4.1 基于 MapReduce 数据集成及融合总体架构设计33-35
• 4.2 元数据采集及虚拟数据库生成35-41
• 4.2.1 元数据的采集与虚拟数据库定义36-39
• 4.2.2 元数据信息异构性冲突及解决方法39-41
• 4.3 基于 MapReduce 数据集成及融合方案各模块功能详细解析41-52
• 4.3.1 解析器设计流程41-46
• 4.3.2 执行器设计流程46-52
• 4.4 本章小结52-53
• 第五章 系统模型实现及测试53-63
• 5.1 基于 MapReduce 数据采集及数据融合架构原型拓扑结构图53-58
• 5.1.1 基于 MapReduce 数据采集及数据融合模型开发环境配置54-55
• 5.1.2 Hadoop 系统环境配置55-57
• 5.1.3 系统模型类图及运行57-58
• 5.2 基于 MapReduce 数据采集及数据融合架构模型性能分析58-62
• 5.2.1 基于 UFSD 协议数据包 XML 文件生成性能测试59-60
• 5.2.2 基于 MapReduce 数据集成及融合方案架构模型性能测试60-62
• 5.3 本章小结62-63
• 第六章 总结与展望63-65
• 6.1 论文工作总结63
• 6.2 未来工作展望63-65
• 参考文献65-67
• 附录 1 攻读硕士学位期间撰写的论文67-68
• 附录 2 攻读硕士学位期间撰写的专利68-69
• 致谢69