[发明专利]一种高效的数据存储及查询管理方法

说明书

本发明公开了一种高效的数据存储及查询管理方法，包括数据存储过程和数据查询过程，其中，数据存储过程包括：内存数据存储单元将点位信息存储到内存单向链表簇中的同时索引缓存数据单元将点位信息存储到本地缓存文件中；过时数据清除单元定时清除过时的本地存档文件，并删除数据管理文件相关信息；数据查询过程包括：数据查询单元接收数据请求单元发送的数据请求生成查询请求，按照内存数据缓存数据存档数据的优先级的顺序进行数据查询，将查询到的查询数据返回至数据请求单元。本发明将数据以点位的形式按照时间序列同时进行内存、本地缓存文件和本地存档文件存储，提高了查询速度，保证宕机前数据不丢失，提高了宕机重启后的查询速度。

技术领域

本发明涉及数据存储及查询技术领域，尤其涉及一种高效的数据存储及查询管理方法。

背景技术

传统监控系统中，往往随着点位历史数据存储量增多，点位数据查询速度变慢甚至查询失败，严重影响用户查询体验。另外，以往的监控系统中当存储点位历史数据量过大时，需要技术人员远程或者出差进行清除过时数据；在手动清除过时数据过程中，对正在运行的监控系统存在干扰，甚至直接影响到监控系统数据存储和查询过程。同时，在传统监控中，当平台或系统宕机时，宕机前一段时间数据经常丢失和重启后查询速度变慢。

在某些监控系统中常常采用关系性数据库对点位历史数据管理，当关系性数据库在表数据量比较大时，关系性数据库操作(读写)性能也会大大降低。在项目运维中，经常遇到系统运行一段时间后，数据查询速度明显下降，很多情况就是由于存储数据量大未能及时清理导致的。

发明内容

本发明主要解决现有的技术在监控系统中点位历史数据查询速度慢、需要定时清除过时数据、宕机恢复时数据丢失或查询速度慢的问题；提供一种高效的数据存储及查询管理方法，将从监控系统中采集的源数据以点位的形式按照时间序列进行内存、本地缓存文件和本地存档文件存储，以便达到快速查询点位历史数据、定时清除过时数据、保证宕机前数据不丢失和宕机恢复后对点位历史数据较快查询。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括数据存储过程和数据查询过程，其中，

所述数据存储过程包括以下步骤：

A1、数据获取单元将采集到源数据分别发送到内存数据存储单元和索引缓存数据单元，同步执行步骤A2和步骤A3；

A2、内存数据存储单元将点位信息存储到内存单向链表簇中；

A3、索引缓存数据单元将点位信息存储到本地缓存文件中；

A4、过时数据清除单元定时清除过时的本地存档文件，并删除数据管理文件相关信息；

所述数据查询过程包括以下步骤：

B1、数据请求单元通过网络协议向数据查询单元发送数据请求；

B2、数据查询单元接收数据请求生成查询请求，按照内存数据缓存数据存档数据的优先级的顺序进行数据查询，将查询到的查询数据返回至数据请求单元。

将从监控系统中采集的源数据以点位的形式按照时间序列同时进行内存、本地缓存文件和本地存档文件存储，以便达到快速查询点位历史数据、定时清除过时数据、保证宕机前数据不丢失和宕机恢复后对点位历史数据较快查询。

作为优选，所述的步骤A2具体包括：

A21、从头遍历内存中对应点位单向链表结点；

A22、计算当前系统时间time1与结点时间time0之差并记作ΔT0，若ΔT0T1，则删除点位结点，并返回步骤A21，若ΔT0≤T1，则将time0记作Δtime0，终止遍历操作，执行步骤A23；

A23、将新点位结点追加到单向链表尾部，并将尾部结点指针记作ΔP0；