[发明专利]一种高效存储和检索时序数据的方法

说明书

本发明公开了一种高效存储和检索时序数据的方法，包括如下步骤：配置数据页格式；对数据页进行处理，数据入库后首先写入数据页中，页满后将数据页归档到存档文件中，回收使用完毕的内存数据页，将其作为空闲数据页通知给数据库，处理单个标签点的历史数据缓存，并将磁盘上的页面交换到内存中；根据预设管理机制对存档文件进行管理；根据预设的历史数据索引文件常驻内存的字节大小锁定内存空间，按照存档文件的时间从新到旧将对应的索引文件加载到内存中；根据预设的历史数据读取内存百分比，按照数据页的检索吸引值从高到低将相应数据页动态加载到内存中；利用索引文件常驻内存和检索吸引值较高的数据页动态加载到内存的方式有效降低物理磁盘I/O，提高检索效率。

技术领域

本发明涉及数据处理技术领域，具体是一种高效存储和检索时序数据的方法。

背景技术

随着工业化、信息化的融合和工业物联网技术的飞速发展，工业传感器设备数量呈爆炸式增长，数据采集频率和时间戳精度达到秒级甚至毫秒级，产生了高维海量时序数据。

传统方式一般基于磁盘文件系统进行数据的存储和检索，由于涉及到磁盘存取、内存数据交换、缓冲区管理、排队等待以及各种锁等众多环节，执行过程中的磁盘I/0开销太大，使得事务平均执行时间较长，不能满足时序数据库系统的“及时性”要求。

发明内容

为了解决现有技术存在的问题，本发明的目的在于提供一种高效存储和检索时序数据的方法，以内存空间的高效利用为目标，采用索引文件常驻内存和检索吸引值较高的数据页动态加载到内存的方式，降低物理磁盘I/O，提高检索效率，实现时序数据库系统中数据和事务的实时(及时)性。

本发明的目的可以通过以下技术方案实现：

一种高效存储和检索时序数据的方法，包括如下步骤：

步骤一：配置数据页格式：数据页是固定大小的内存块，数据库包含若干数据页，不论是内存中的缓存文件还是磁盘中的存档文件都是以数据页为单位对数据进行管理，每个数据页只存储一个标签点的数据；

步骤二：对数据页进行处理，具体为：

数据入库后首先写入数据页中，页满后将数据页归档到存档文件中；

回收使用完毕的内存数据页，将其作为空闲数据页通知给数据库以备使用；

处理单个标签点的历史数据缓存，同时将磁盘上的页面交换到内存中；

步骤三：根据预设管理机制对存档文件进行管理；

步骤四：根据预设的历史数据索引文件常驻内存的字节大小锁定内存空间，按照存档文件的时间从新到旧的顺序将对应的索引文件加载到内存中；

步骤五：根据预设检索规则对数据页中存储的数据进行检索，同时对每个数据页的检索吸引值进行修订；

步骤六：根据预设的历史数据读取内存中的内存百分比参数，按照数据页的检索吸引值从高到低的顺序将相应数据页加载到内存中。

进一步地，数据页是固定大小的内存块，其大小在安装数据库时由用户决定，可选择1K、2K、4K、8K及16K五种页大小。

进一步地，数据页结构分为数据值定长和变长两种格式。

进一步地，数据写入数据页中，页满后将数据页归档到存档文件中，具体包括：

数据页页满后将其页码推入到数据页队列，后台任务从队列中取出数据页页码，根据页码在共享内存池中获取到数据页，将其归档到存档文件中。

进一步地，回收使用完毕的内存数据页，将其作为空闲数据页通知给数据库，具体包括：

获取使用完毕的内存数据页；释放指定的数据页；判断数据页是否全部被使用；将共享内存中的内容写入存档文件。