[发明专利]一种基于属性分组的时序数据压缩方法

说明书

本发明公开一种基于属性分组的时序数据压缩方法，将每个测点的数据保存到缓冲区，将时序数据序列划分为时间戳、值、质量码序列；记录时间戳序列起始时间，再将具有相同变化周期的时间戳按序分组，记录每组起始时间戳与本缓冲区起始时间的差值、该组的变化周期以及本组时间戳个数；将浮点数分解成“符号‑指数”位和“尾数位”，将具有相同“符号‑指数”位的浮点数按序分组，记录每个分组的“符号‑指数”位、浮点数个数以及“尾数”位序列；将具有相同质量码值的质量码序列按序分组，记录每个分组的值及个数；将分组数据复制到压缩缓冲区，使用zlib算法对该缓冲区进行无损压缩。此种方法具有压缩率高且速度快的特点，能有效节省存储空间使用。

技术领域

本发明属于时序数据处理领域，特别涉及一种基于属性分组的时序数据压缩方法。

背景技术

时序数据处理技术被广泛应用于广域测量系统(WAMS)、变电站监控、调度、直流、稳控等多个系统中，满足其存储海量、高频数据的需求。该技术主要用于存储秒级、毫秒级高频数据，此类型数据一般具有周期性特点，每个存储周期会产生一批数据需要存储，因此数据量极大，对数据的压缩要求较高，不同于传统的关系数据库，时序数据的存储要在满足存储精度要求的同时，尽量提高其压缩率，最大化利用磁盘空间。

对于时序数据的存储，由于数据量大，对处理速度和压缩率要求高，传统的时序数据压缩方法种类及其缺陷如下：

(1)旋转门压缩

该方法在压缩前设置“死区值”和“死区时间”，通过这两个属性实现数据压缩，是一种有损压缩方法，通常会使数据有一定程度的失真，不适用于对数据精度和准确率要求较高的场景。

(2)原始数据结合开源压缩算法

使用zlib或lz系列压缩算法，直接到原始数据进行压缩，这种方法实现简单，但压缩率不高，没有充分利用时序数据的特点，实现充分压缩。

基于传统的时序数据压缩方法存在的缺陷，本案由此产生。

发明内容

本发明的目的，在于提供一种基于属性分组的时序数据压缩方法，其具有压缩率高且速度快的特点，能有效节省存储空间使用。

为了达成上述目的，本发明的解决方案是：

一种基于属性分组的时序数据压缩方法，包括如下步骤：

(1)服务端接收并保存每个测点的数据到缓冲区，将时序数据序列划分为时间戳、值、质量码序列；

(2)记录时间戳序列起始时间，再将具有相同变化周期的时间戳按序分组，记录每组起始时间戳与本缓冲区起始时间的差值、该组的变化周期以及本组时间戳个数；

(3)将浮点数分解成“符号-指数”位和“尾数位”，将具有相同“符号-指数”位的浮点数按序分组，记录每个分组的“符号-指数”位、浮点数个数以及“尾数”位序列；

(4)将具有相同质量码值的质量码序列按序分组，记录每个分组的质量码及质量码个数；

(5)将分组数据复制到压缩缓冲区，使用zlib算法对该缓冲区进行无损压缩。

上述步骤(1)中，每个缓冲区大小默认设为1024，每条时序数据是一个三元组时间戳，值，质量码，为每条数据分配一个缓冲区，当缓冲区满时，将缓冲区中时序数据序列按三个属性划分为时间戳序列、值序列、质量码序列，启动压缩流程。