[发明专利]压缩流数据的方法及设备

说明书

本发明实施例提供了一种压缩流数据的方法，包括：根据所获取的流数据和预定义的最大误差，构造多个线段；根据所述多个线段，确定目标分段线性函数，该目标分段线性函数包括多个线性函数，且所述多个线性函数中的每两个线性函数的自变量的取值范围的交集最多包括一个值；根据目标分段线性函数，输出参考数据点，参考数据点包括目标分段线性函数的连续点和间断点。这样，本发明实施例中，根据多个数据点和最大误差，构造多个线段，进一步根据多个线段确定目标分段线性函数，并用该目标分段线性函数的连续点和间断点表示压缩后的流数据。本发明实施例的方法能够保证该目标分段线性函数具有最少的参数个数，这样对存储空间的要求最低。

技术领域

本发明实施例涉及信息处理领域，并且更具体地，涉及一种压缩流数据的方法及设备。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列。一般情况下，流数据可被视为一个随时间延续而无限增长的动态数据集合。流数据在网络监控、传感器网络、航空航天、气象测控和金融服务等应用领域广泛出现，通过对流数据研究可以进行卫星云图监测、股市走向分析、网络攻击判断等。

在对流数据进行实时观测或存储的过程中，由于存储空间的限制，需要首先对流数据进行压缩。

对于同一组流数据来说，压缩率越高，对存储空间的要求越低。然而现有的对流数据进行压缩的方法中，压缩率都不够高，这样，导致对存储空间的要求不是最低。

发明内容

本发明实施例提供一种压缩流数据的方法，对存储空间的要求最低。

第一方面，提供了一种压缩流数据的方法，包括：

获取流数据，其中，所述流数据包括多个数据点，所述多个数据点中的每个数据点包括采集所述每个数据点的采集时间以及在所述采集时间所采集的数据值；

获取预定义的最大误差，根据所述多个数据点和所述最大误差，构造多个线段，所述多个线段互不相交，所述多个线段中的每个线段表示以时间为自变量的函数，并且当所述自变量的值为所述采集时间时，所述函数的函数值与所述采集时间所采集的数据值之差的绝对值小于或等于所述最大误差；

根据所述多个线段，确定目标分段线性函数，其中，所述目标分段线性函数包括多个线性函数，所述多个线性函数中的每两个线性函数的自变量的取值范围的交集最多包括一个值；

根据所述目标分段线性函数，输出参考数据点，所述参考数据点用于表示压缩后的流数据，其中，所述参考数据点包括所述目标分段线性函数的连续点和间断点。

结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述多个数据点和所述最大误差，构造多个线段，包括：

根据所述多个数据点和所述最大误差，构建扩展多边形，其中，所述扩展多边形用于表示所述多个线段所在的区域；

在所述扩展多边形的基础上计算链表，其中，所述链表包括信息域C[k]以及指针域pred[k]，所述信息域C[k]用于表示所述多个线段，所述指针域pred[k]用于表示所述信息域C[k]指向信息域C[pred[k]]，k为不等于1的非负整数，每一个k的取值所对应的C[k]用于表示所述多个线段中的一个线段。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述C[k]通过如下的表达式得到：

条件1为：k＝0；

条件2为：k＝3或者k≥5且cw(C[k-2])位于cw(nw(C[k-3]))的左侧，

对k＝0，pred[0]为空，

对k≠0，若C[k]＝cw(nw(C[k-3]))，则pred[k]＝k-3；