[发明专利]一种物联网时效数据分层存储方法

说明书

本发明公开了一种物联网时效数据分层存储方法，包括数据分层、数据备份、数据恢复和数据访问，本发明能够对数据进行热温冷冰数据分治，不同的数据采用不同的存储介质，能够按照数据的时间进行分层；本发明能够在较低存储成本存储物联网大量的时序数据，满足数据的不断增长，数据查询的时效性。

技术领域

本发明涉及数据分层技术领域，具体为一种物联网时效数据分层存储方法。

背景技术

数据分层法是指性质相同的，在同一条件下收集的数据归纳在一起，以便进行比较分析。因为在实际生产中，影响质量变动的因素很多如果不把这些因素区别开来，难以得出变化的规律。数据分层可根据实际情况按多种方式进行。例如，按不同时间，不同班次进行分层，按使用设备的种类进行分层，按原材料的进料时间，原材料成分进行分层，按检查手段，使用条件进行分层，按不同缺陷项目进行分层，等等。数据分层法经常与统计分析表结合使用。

目前物联网行业中，还没有专门针对时效数据分层的存储方案，现在已有的方案只有普通的存储方案没有分层方案，在数据的存储效率，利用效率，存储密度方面都有有所不足，存储成本较高；已有的数据存储没有分层处理，造成存储介质的成本较高。

发明内容

本发明的目的在于提供一种物联网时效数据分层存储方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种物联网时效数据分层存储方法,包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储；所述温数据使用存储量大、可扩展；所述冷数据使用可扩展的分布式文件系统存储和访问；所述冰数据使用廉价，存储量大的分布式硬盘系统存储。

优选的，所述数据备份包括两方面的策略：一是数据库、分布式文件系统自有的备份冗余机制；二是通过数据分层，上层数据会通过定时作业的方式写入到下层存储中，实现每层数据有各自的备份，下层数据由上层数据的备份。

优选的，所述数据恢复的流程是由底层恢复到上层：从冰数据恢复到冷数据，冷数据恢复到温数据，温数据恢复到热数据。

优选的，所述数据访问具体包括：通过提供sdk工具，访问热数据和温数据；通过spark、MR，访问冷数据和冰数据。

与现有技术相比，本发明的有益效果是：本发明能够对数据进行热温冷冰数据分治，不同的数据采用不同的存储介质，能够按照数据的时间进行分层；本发明能够在较低存储成本存储物联网大量的时序数据，满足数据的不断增长，数据查询的时效性。

附图说明

图1为本发明流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种物联网时效数据分层存储方法,包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储，包括hbase、mysql等；所述温数据使用存储量大、可扩展，包括hbase；所述冷数据使用可扩展的分布式文件系统存储和访问，包括hdfs，以及spark、hive；所述冰数据使用廉价，存储量大的分布式硬盘系统存储；数据同步：数据每层之间可以通过工具进行同步、恢复、清理等；数据访问：通过sdk，spark，mr，hive进行实时、离线访问。