[发明专利]针对物联网平台的大数据存储系统

说明书

本发明公开了一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。本发明方案采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。

技术领域

本发明属于大数据存储技术领域，涉及一种针对物联网平台的大数据存储系统。

背景技术

随着科学技术的进步，物联网(Internet of Things)正在走进人们的生活，比如智能家居、环保节能、智能旅游、环境监控等，物联网及其衍生服务逐渐对人们的生活带来巨大的影响，使人们享受到科技进步带来的便利。

面对基于物联网的大数据，传统的关系型数据库(RDBMS)已不适用，其无法对如此大量的数据进行有效的存储与管理。针对物联网大数据带来的存储及数据处理上的挑战，目前比较流行的方法有云数据管理技术和并行数据库集群技术。在云数据管理技术中，基本上均采用NoSQL数据库模型，按照KEY-VALUE的模式对数据进行组织和检索处理，比如采用Apache的Hadoop分布式开源框架，通过HDFS分布式文件系统，MapReduce分布式数据处理模型和Hbase KEY-VALUE数据库，能够有效地存储和处理物联网大数据，但目前采用该方法的物联网数据存储模型存在较大的局限性，只适用于一些特定的应用场合。在并行数据库集群技术中，通过网络将多个传统数据库组成集群，来应对物联网大数据的处理，但由于传统关系数据库在处理大数据问题上存在不足，在查询效率方面要远低于NoSQL数据库；另外，由于传统关系数据库需严格遵循事务处理机制，并行数据库集群的大数据处理效率将会严重下降。

除了上述两种技术外，还有学者采用时空数据库技术来存储和处理物联网大数据，但该技术在应用上存在较大的局限性，其主要是针对物联网大数据的时空特性进行处理，提高时空特性数据的查询效率。

发明内容

本发明目的在于提供一种针对物联网平台的大数据存储系统，为了克服传统关系数据库在处理大数据问题上存在不足的问题，采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，利用HBase和HDFS存储架构结合MySQL传统关系数据库，有效地应对物联网数据的实时应需求和分布式持久化存储难题，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。

为解决上述技术问题，本发明采用如下的技术方案：一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。

进一步地，所述传感器数据采样层模块主要由传感器节点组成，包含温度传感器、湿度传感器、气体传感器、粉尘传感器等。

进一步地，所述物联网数据存储层模块的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。

进一步地，所述应用服务层模块主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。

本发明与现有技术相比具有以下的有益效果：