[发明专利]一种时序数据库的数据压缩方法及系统

说明书

一种时序数据库的数据压缩方法及系统，具体涉及一种时序数据库内的数据压缩方法及系统，本发明为解决时序数据库中压缩算法效率低的问题，利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；计算整型数据的delta数组；建立回归模型，设置权重因子为10，将delta数组输入回归模型内进行训练，得到训练好的回归模型；再将delta数组输入训练好的回归模型内，得到整型数据数值预测值；将整型数据数值预测值与真实值作差，得到误差结果；采用ZigZag变换对误差结果进行变换，并利用哈夫曼编码将变换后的误差结果进行保存；对浮点数据进行精度缩减，并采用异或运算进行压缩。属于计算机技术领域。

技术领域

本发明涉及一种压缩方法及系统，具体涉及一种时序数据库内的数据压缩方法及系统，属于计算机技术领域。

背景技术

时序数据，即时间序列数据，我们把按照时间戳的大小顺序排列的一系列记录值的数据称为时间序列数据(Time Series Data)。在日常生活中，时序数据相当常见，比如，汽车的位置定位，在一段时间内某辆特定汽车的其他属性，包括型号、颜色、车牌号、所有者等都是不变的，但它的位置数据是随着时间变化不断在变化的，那么根据时间确定的位置值及其他属性所组成的一系列数据就是一组时序数据，当我们驾驶汽车开启导航时，就需要根据这一组时序数据判断接下来到达目的地的路线以及存储驾驶记录，在即将到来的无人驾驶中更是必不可少的。在互联网中，时序数据更是无处不在，比如，用户访问网站的记录、应用系统的系统日志数据等等。

时序数据随时间不间断的增长，且增长频率越来越快。在一些比较热点的场景下，数据积累的速度将会十分惊人。因此数据库中将要存储海量的时序数据。这些过往的数据的存在不仅占据着相当大一部分的存储空间，而且查询利用率特别低，甚至更多情况下用户仅需要近似值，同时还消耗着数据库相当大一部分资源。因此有必要对这些数据进行进一步的压缩，以减少资源的消耗，而实际上，目前的开源时序数据库也确实是这样做的，但其中的压缩算法效率较低。

发明内容

本发明为了解决时序数据库中压缩算法效率低的问题，进而提出了一种时序数据库的数据压缩方法及系统。

本发明采取的技术方案是：

一种时序数据库的数据压缩方法，它包括以下步骤：

S1、利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；

S2、计算S1提取的整型数据的delta数组；

S3、建立回归模型，设置回归模型中误差损失函数的权重因子为10，将S2中得到的delta数组输入回归模型内进行训练，输出整型数据数值的预测值，直到loss收敛，得到训练好的回归模型；

S4、将S2中得到的delta数组输入S3中训练好的回归模型内，得到整型数据数值的预测值；

S5、将S4中得到的整型数据数值的预测值与S1原始时序数据中整型数据数值的真实值作差，得到误差结果；

S6、对S5中得到的误差结果采用ZigZag变换方法进行变换，得到变换后的误差结果，利用哈夫曼编码将变换后的误差结果进行保存；

S7、对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩。

优选的，所述S1中利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据，具体过程为：

当时序数据库后台进程处于每秒处理数据量小于20万条或休息时，根据设置的时间段或时序数据库默认的时间段利用时序数据库的压缩算法提取原始时序数据，所述原始时序数据包括整型数据和浮点数据。

优选的，所述设置的时间段为用户在查询时根据需要自己指定的时间段。