[发明专利]一种海量历史数据的存储及索引方法

说明书

技术领域

本发明涉及到实时历史数据库领域，尤其涉及到实时历史数据库存储海量级历史数据和为之建立索引文件的方法。

背景技术

实时历史数据库在工控领域被普遍使用，涉及的行业包括电力、石油、冶金、化工等。实时历史数据库以测点作为基本单位来描述生产数据。一个数据库的测点对应现实世界的一个物理数据源，如某一条输电线的电压、某一个检测点的温度等。测点储存的数据是离散的量，其储存的数据都带有时间戳。从现场采集到的生产过程数据(如某个设备不同部位测点的电流电压、锅炉不同部位测点的水位水温等)经过一系列处理之后最终保存在实时历史数据库当中。此类数据通常在后续的过程回溯或者数据分析的过程中使用。

随着信息化建设的推进，越来越多的数据通过分布广泛的数据采集器进入到实时历史数据库系统，并最终以数据文件的形式保存，这些数据文件称之为历史数据文件。由于生产控制过程是24小时不间断运行的，因此随着时间的推移，历史数据总量不断累积，产生的历史数据文件总量可以达到TB甚至PB级别。

当前的实时历史数据库系统主要部署于性能良好的单机上，单机能够满足一定的存储需求，但是面对持续增长的历史数据量，单机有限的磁盘空间就不再满足存储要求。虽然可以通过停机更换大容量磁盘来实现扩展，但这样不能保证服务的持续性。分布式数据库系统和集群数据库系统虽然可以实现存储空间动态扩容，但当前的产品均只能在离线方式下进行系统扩展，不适合历史数据产生的实际环境，更重要的是二者没有专门针对历史数据的特点进行数据存储的方案，因此这二者不适合海量历史数据的存储需求。近些年，数据库领域新兴的列数据库被广泛使用，其代表了基于云平台的新型数据库，并开始应用于大规模数据存储和处理过程。该类数据库系统可以实现在线扩展，即保证服务不间断的情况下实现添加节点的功能。但是，该类数据库也没有针对历史数据的特点而实施的数据存储方案，因此这类数据库也不完全适合历史数据的存储要求。

综上所述，面对海量历史数据，目前尚无完整可用的实施方案既可以满足当前的数据存储要求，又保证系统具有动态扩展性来应对持续增长的数据存储和处理的需求。

发明内容

有鉴于此，本发明的目的在于提供一种海量历史数据的存储及索引方法，用于实现既满足当前海量历史数据文件的存储要求，更保证具有在线扩展的特性。

本发明提供了一种海量历史数据的存储方法，该方法包括：

A、从实时历史数据库获取与测点数字标识N_ID相对应测点的前一天全天的压缩数据，按时间升序连续排列构成一条测点历史数据记录的历史数据区，在所述历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R；

B、判断中间数据文件F_T的剩余空间是否小于R的长度R_LEN，如果是，则向F_T的剩余空间写入无效数据，并将F_T中的整块数据追加写入历史数据文件F，从分布式文件系统返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID，遍历保存测点数字标识的集合C_ID，每次取出一个测点数字标识赋值给临时变量T_ID，将日索引集合文件F_TI第T_ID个索引单元的文件块标识FileBlockID项的值置为BlockID，清空C_ID和文件F_T，并执行步骤C；否则直接执行步骤C；

C、将R写入F_T，记录下R在F_T中的起始偏移地址Offset，将Offset和R_LEN分别写入F_TI的第N_ID个索引单元的数据偏移DataOffset项和数据长度DataLength项，将N_ID的值存入集合C_ID；

D、对N_ID的值执行加1操作，判断该N_ID对应的测点是否存在，若存在则执行步骤A；否则执行步骤E；