[发明专利]基于Hadoop体系的传感云数据存储系统及其实现方法

摘要

本发明公开了一种基于Hadoop体系的传感云数据存储系统及其实现方法。通过分析Hadoop框架下的Storm框架、HBase分布式数据表、分布式数据仓库Hive的特点和各自应用场景，结合无线传感器网络形成的传感云技术，提出一种基于Hadoop体系的传感云数据存储系统。本发明通过对Hadoop体系下这三种常见应用场景的分析，使用由上位机软件，数据缓冲池MYSQL数据库和任务调度脚本组成的数据云网关作为传感云到存储系统的数据沟通桥梁。调度脚本将当日实时数据通过推送到Storm框架集群实时写入HBase表，负责前端数据发布和响应；历史数据通过ETL数据操作，从缓冲池抽取并加载到Hive的数据仓库。本发明提出的传感云数据存储系统结构清晰，各模块功能分明，具有良好的层次扩展性和负载均衡的稳定性，目前已经稳定运行并实现对其他系统的数据存储支持。

主权项

一种基于Hadoop体系的传感云数据存储系统，其特征在于：系统以数据云网关为核心，由无线传感器网络构成的传感云、数据云网关、分布式数据库HBase、实时数据计算的Storm框架、Hive数据仓库以及底层Hadoop基础分布式存储计算支持平台6部分构成；传感云，用于采集环境数据；由无线传感器网络组成，网络中包含获取设备采集点的光照量、空气温湿度和土壤温湿度及二氧化碳含量的传感器族群设备；数据云网关，由其上运行的上位机软件、数据缓冲池MYSQL数据库以及任务调度脚本构成；其中，上位机软件接收传感云产生的并通过GPRS模块传输到数据云网关的实时数据，进而解析包含传感云环境数据的IP分组，得到传感云中具体节点信息和环境传感器数据存入数据缓冲池MYSQL数据库；实时数据计算的Storm框架，实现实时数据向分布式数据库HBase的写入操作；分布式数据库HBase，用于存储实时环境数据，以传感器名称为键，传感器实时数据为值，并以key为标准分区存储键值对到HBase实时数据表中；数据仓库Hive，实现历史数据的存储；数据云网关中，上位机解析的环境数据暂存在缓冲池中，当数据积累到指定时长，任务调度脚本执行ETL操作，将历史数据存入到数据Hive仓库的对应表中；Hadoop基础分布式存储计算支持平台提供支持服务。