[发明专利]一种时序数据库的数据压缩方法及系统有效
申请号: | 202210373970.0 | 申请日: | 2022-04-11 |
公开(公告)号: | CN114679184B | 公开(公告)日: | 2022-11-01 |
发明(设计)人: | 王宏志;闫浩;郑博;梁栋;叶天生;燕钰;丁小欧 | 申请(专利权)人: | 哈尔滨工业大学;北京诺司时空科技有限公司 |
主分类号: | H03M7/30 | 分类号: | H03M7/30;H03M7/40 |
代理公司: | 哈尔滨华夏松花江知识产权代理有限公司 23213 | 代理人: | 时起磊 |
地址: | 150001 黑龙*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 时序 数据库 数据压缩 方法 系统 | ||
1.一种时序数据库的数据压缩方法,其特征在于:它包括以下步骤:
S1、利用时序数据库的压缩算法提取原始时序数据,原始时序数据包括整型数据和浮点数据;
S2、计算S1提取的整型数据的delta数组;
S3、建立回归模型,设置回归模型中误差损失函数的权重因子为10,将S2中得到的delta数组输入回归模型内进行训练,输出整型数据数值的预测值,直到loss收敛,得到训练好的回归模型,具体过程为:
建立回归模型,设置回归模型中误差损失函数的权重因子为10,将S2中得到的delta数组输入回归模型内进行训练,训练至输出结果同时满足以下两个条件:
条件一:所有误差代价之和的10倍小于所有误差收益之和;
条件二:本次迭代的整体代价小于上一轮迭代的整体代价;
所有误差代价之和为负值误差绝对值之和;所有误差收益之和为正值误差之和;整体代价为所有误差的绝对值之和;
S4、将S2中得到的delta数组输入S3中训练好的回归模型内,得到整型数据数值的预测值;
S5、将S4中得到的整型数据数值的预测值与S1原始时序数据中整型数据数值的真实值作差,得到误差结果;
S6、对S5中得到的误差结果采用ZigZag变换方法进行变换,得到变换后的误差结果,利用哈夫曼编码将变换后的误差结果进行保存;
S7、对S1中提取的浮点数据进行精度缩减,将精度缩减后的浮点数据采用异或运算进行压缩。
2.根据权利要求1中所述的一种时序数据库的数据压缩方法,其特征在于:所述S1中利用时序数据库的压缩算法提取原始时序数据,原始时序数据包括整型数据和浮点数据,具体过程为:
当时序数据库后台进程处于每秒处理数据量小于20万条或休息时,根据设置的时间段或时序数据库默认的时间段利用时序数据库的压缩算法提取原始时序数据,所述原始时序数据包括整型数据和浮点数据。
3.根据权利要求2中所述的一种时序数据库的数据压缩方法,其特征在于:所述设置的时间段为用户在查询时根据需要自己指定的时间段。
4.根据权利要求3中所述的一种时序数据库的数据压缩方法,其特征在于:所述设置的时间段为七天或24小时。
5.根据权利要求4中所述的一种时序数据库的数据压缩方法,其特征在于:所述时序数据库默认的时间段为七天。
6.根据权利要求5中所述的一种时序数据库的数据压缩方法,其特征在于:所述S3中建立的回归模型包括多项式回归模型、正弦回归模型。
7.根据权利要求6中所述的一种时序数据库的数据压缩方法,其特征在于:所述S7中对S1中提取的浮点数据进行精度缩减,将精度缩减后的浮点数据采用异或运算进行压缩,具体过程为:
根据S1中得到的浮点数据,选取浮点数据尾数部分中除前4位之外的后19位数据进行精度缩减,即若选取的19位数据的第1位为1,则所述前四4位进1,否则不进1,并将后19位数据置0,将精度缩减后的浮点数据采用异或运算进行压缩。
8.一种时序数据库的数据压缩系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1-7任一所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学;北京诺司时空科技有限公司,未经哈尔滨工业大学;北京诺司时空科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210373970.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:光刻装置和光刻系统
- 下一篇:穿线装置以及高压开关柜