[发明专利]一种基于列式存储技术的实时数据压缩方法

摘要

本发明公开了一种基于列式存储技术的实时数据压缩方法，本发明的方法对于一个具体的列包里的序列，完成了可变步距计算公式的试算和评估，以及覆盖单元计算公式的搜索和参数计算，将可压缩划分内的实时数据列包进行压缩，从而解决了存储空间占用巨大的问题，减少硬件部署数量，小型化部署环境，节省部署成本，本发明能够实现实时、高频度、大数据量的数据压缩存储，大大减少存储空间占用的问题。

主权项

1.一种基于列式存储技术的实时数据压缩方法，其特征是：所述方法包括下述步骤，(1)读入实时数据列包Xi，i=1，2，...，n，Xi为第i个对应的数据值；(2)设△F为精度值，若对于列包中的序列Xi（a≤i≤b），有定义在[Ta，Tb]上的函数Fi=f(Ti)，使得：|Xi‑Fi|≤△F|X(a‑1)‑F(a‑1)|＞△F|X(n+1)‑F(n+1)|＞△F则称区间[Ta，Tb]为对于f(Ti)和△F的可压缩区间，称Fi=f(Ti)为Xi的一个覆盖函数；所有覆盖函数都被事先赋予一个代码fid；在精度△F的意义上，用fid、f(Ti)的所有参数值以及a、b来替代可压缩区间[Ta，Tb]内的所有Xi，实现数据压缩；(3)对下标i赋予一个可变性，以下述函数表达：i=S(j)     (i，j∈{0}∪N)S(j)称为一个划分函数，对应于其值域的集合{Ti|i=S(j)}称为一个划分，记为Γ(S)；设△F为精度值，若对于列包中的序列Xi（a≤i≤b），有定义在Γ(S)∩[Ta，Tb]上的覆盖函数Fi=f(Ti)，使得：|Xi‑Fi|≤△F|X(S(S^‑1(a)‑1))‑F(S(S^‑1(b)‑1))|＞△F|X(S(S^‑1(a)+1))‑F(S(S^‑1(b)+1))|＞△F则称Γ(S)∩[Ta，Tb]为对于f(Ti)和△F的可压缩划分，记为Γk；在精度△F的意义上，就用f(Ti)的代码fid、f(Ti)的所有参数值、S(j)的代码sid、S(j)的所有参数值以及a、b来替代可压缩划分内的所有Xi，实现数据压缩；(4)对于列包中给定的序列Xi，姑且取第一个S(j)，如果存在一个S(j)参数的组合，使得Γ(S)上的Xi具有某个f(Ti)的函数特征，就可以进一步计算f(Ti)在Γ(S)上的参数组合，从而得到第一个可压缩划分，然后取下一个S(j)，重复进行以上步骤，直到所有S(j)被遍历完成，最后，列包中剩下的Xi需要单独存储；(5)评估是否有效压缩，若是则结束，若否则改变完全划分的结构，回到第（3）步执行。