[发明专利]一种基于时间序列的工业数据存储及索引方法

说明书

技术领域

本发明涉及数据库存储及索引领域，尤其涉及工业数据存储及索引技术。

背景技术

工业数据来源于工业生产或其相关数据，一个工业数据对应生产中的一个物理点，如某一条生产线的累计产量、某一个检测点温度等。工业数据是一段连续的量，其存储的数据都带有时间戳。工业数据具有明显的时间特性，其结构可以用VQT(Value、Quality、Timestamp，数据值、质量码、时间戳)来表示。同时工业数据是不断产生的，具有海量数据的特点。

现有的数据库技术很好地解决了关系数据的存储与访问要求。但是对于工业数据而言，现有的存储和访问方式有很多不足。

由于工业数据的连续时间的特性以及海量的特性，使用传统的关系数据库的存储和访问方法所需的存储空间极大、访问不便。

并且，对于工业数据库而言，其查询数据的目的通常是为了进行工业数据的趋势分析、故障分析等，需要查询的通常不是某一条数据，在工业控制领域，某个采集点某个时间点上的单个数据点是无意义的，一般需要对多个采集点的连续时间段内的工业数据进行查询，通过查询出的数据进行趋势分析、发现系统故障。

可见现有的数据库存储和查询技术不适合工业数据的存储和查询，需要能满足时间特性和海量特点的数据存储结构和查询方法。

发明内容

本发明主要解决的技术问题是提供一种基于时间序列的工业数据存储及索引方法，使得降低海量工业数据存储所需空间，加快工业数据索引查询效率。

为了解决上述技术问题，本发明提供了一种基于时间序列的工业数据存储及索引方法，工业数据来自不同的采集点，每条工业数据包含一个时间戳，包含以下步骤：

将相同时间段内的工业数据存储在一个数据文件中，该数据文件包含N个文件块，N为大于2的自然数；

将一个时间段内属于同一个采集点的工业数据存储在对应该时间段的数据文件中的同一个物理块中，保存该数据文件中各采集点与其对应的起始物理块的索引关系，在各物理块的头文件中包含本物理块中存储的工业数据的起讫时间、以及对应相同采集点的上一个物理块和/或下一个物理块的指针；

在进行一个时间段的工业数据查询时，根据待查询的工业数据的时间段索引到对应的数据文件，根据待查询的采集点标签索引到该数据文件中对应该采集点的起始物理块，根据该起始物理块头文件中的起讫时间和下一个物理块的指针、索引到待查询的工业数据的物理存储位置。

作为上述技术方案的改进，根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到待查询的工业数据的物理存储位置的步骤中，

从起始物理块开始，依次将各物理块的起讫时间和待查询的工业数据时间段相比较，如果不匹配，则根据该物理块头文件中的下一个物理块的指针，找到下一个物理块，进行进一步比较，找到匹配待查询的时间段的物理块。

作为上述技术方案的改进，工业数据至少包含数值、质量码、时间戳，将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

在存储工业数据时，将该工业数据的时间戳与上一条工业数据的时间戳比较，保存该时间差；

根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到待查询的工业数据的物理存储位置的步骤中，

根据找到的物理块中存储的工业数据的起始时间和各工业数据的时间差，找到待查询的时间段的工业数据。

作为上述技术方案的改进，每个数据文件唯一对应一个时间段，各数据文件所对应的时间段相连续。

作为上述技术方案的改进，将属于同一个采集点的工业数据存储在同一个物理块中的步骤中，

如果该采集点标签对应的物理块已写满，则根据该物理块头文件中的下一个物理块的指针，找到同属于该采集点的其他物理块，将工业数据存储在该其他物理块中。

作为上述技术方案的改进，工业数据至少包含数值、质量码、时间戳，将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

为每条工业数据设置一个质量码标识位，在存储工业数据时，将该工业数据的质量码与上一条工业数据的质量码比较，如果相同，则不保存本条工业数据的质量码，并将质量码标识设置为不保存；如果不同，则保存该条工业数据的质量码，并将质量码标识设置为保存；

索引到待查询的工业数据的物理存储位置的步骤之后，包含以下步骤：读取待查询的工业数据，根据各工业数据的质量码标识位的值，确定该条工业数据的质量码。