[发明专利]物联网监测大数据的存储方法与存储系统

说明书

本发明提供了一种物联网监测大数据的存储系统和存储方法。该存储系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。本发明的存储系统和存储方法能够对全量数据进行存储并提高存储性能。

技术领域

本发明涉及物联网大数据领域，尤其涉及一种物联网监测大数据的存储方法与存储系统。

背景技术

近年来，随着物联网技术的发展，监测设备产生了大量的实时数据，充分利用这些数据进行数据挖掘分析与预警具有重要的实用价值。物联网络拥有庞大数量的监测设备，每台设备需实时监测的指标众多，短时间内监测数据总量也很大。例如，对于某电力监测物联网络，其拥有数万个监测点，每个监测点每秒可监测数千个指标，每秒数据总量可达GB级，再以车辆GPS信息采集为例，虽然其只监测位置信息，但一个城市的GPS设备数可超过百万台。物联网监测大数据是一种带有时间戳、多量测周期的数据，具有明显的时间序列数字特征。传统的实时数据库技术或者流式数据处理技术应对如此规模的时序数据时往往采用保存部分数据的策略，如仅保存采样数据、仅保存当前关心的数据或仅保存统计数据等，这种部分数据存储策略会导致最终统计分析或者实时预警的结果出现偏差。随着云计算等技术的发展，全量存储物联设备的原始数据并进行全量数据分析逐渐成为趋势，但是目前单一云数据中心的存储模式必然受到网络性能的限制，无法应对高并发、高吞吐的物联网监测数据实时存储的需求。

因此，需要对现有技术进行改进，依据物联网监测大数据的基本特征，提供适用于物联网检测大数据的全量数据存储方法，从而为数据分析提供支撑。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种物联网监测大数据的存储系统和存储方法。

根据本发明的第一方面，提供了一种物联网监测大数据的存储系统。该系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。

在一个实施例中，所述终端网关将从所连接的物联网监测终端接收的数据转换为物联网监测大数据模型，表示为四元组监测点，监测指标，监测时间戳，监测值，其中，监测点用于标识物联网监测终端，监测指标用于标识监测的指标类型，监测时间戳用于标识采集数据的时间，监测值为物联网监测终端采集的数据值。

在一个实施例中，在所述区域数据中心和所述全局数据中心，采用列式数据库存储所述物联网监测大数据模型，其中，以监测指标、监测时间戳前缀、监测点组成行键，时间戳前缀偏移量为列名，行键值和列名共同决定监测值。

在一个实施例中，所述全局数据中心采用周期性的数据选择策略，当到达一个周期的起始点时，将连接的区域数据中心保存的前一个周期内的数据传输到所述全局数据中心；和/或

采用动态实时抓取策略将当前需要的相关数据从所连接的区域数据中心传输到所述全网数据中心。

在一个实施例中，在从所述区域数据中心向所述全局数据中心传输数据时，根据数据包的大小、网络可用带宽和实时性要求决定是否压缩数据。

在一个实施例中，在决定进行数据压缩的情况下，传输的数据包由压缩标志，压缩数据包和MD5校验码构成。

根据本发明的第二方面，提供了一种基于本发明的物联网监测大数据的存储系统的数据存储方法，该方法包括以下步骤：