[发明专利]一种实时判断流数据自身给定延迟重复性的方法

说明书

给定延迟的自相关可用于判断时间序列或流数据自身给定延迟的重复性。本发明公开了一种通过减量计算时间序列或流数据的计算窗口的指定延迟的自相关从而可以实时地判断时间序列或流数据自身给定延迟重复性的方法，系统和计算设备程序产品。本发明的实施方案包括基于调整前计算窗口的指定延迟的自相关的二个以上组件减量计算调整后计算窗口的指定延迟的自相关的二个以上组件，然后根据需要基于减量计算的二个以上组件生成调整后计算窗口的指定延迟的自相关。减量计算自相关避免访问调整后计算窗口中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断流数据自身给定延迟重复性高效低耗及一些实时判断流数据自身给定延迟重复性从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网,移动通讯，导航，在线游戏，感知技术和大规模计算基础设施每天都产生海量的数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

流数据就是由一个提供者不断传送并连续地被接收的数据。流数据可以是搜集的来自传感器的实时数据并连续把数据传送到计算设备或电子设备上。通常这包括接收相同格式的通过时间间隔被连续划分的数据元素。流数据也可以是从存储设备连续读的数据，即存储设备在多计算设备上存储大数据集。

自相关，也被称为延迟相关或序列相关，是一个特定的时间序列与延迟了l个时间点的该时间序列本身的相关程度的一个度量。它可以通过一个时间序列的相隔了l个时间点的观察值的协相关除以其标准方差来得到。某个延迟的自相关值为1或接近1可认为流数据或流化大数据在该延迟后出现自身重复规律，因此基于给定延迟的自相关判断流数据自身给定延迟的重复性显而易见，而困难和挑战在于如何实时地在流数据上计算自相关。

自相关在过时的数据被去除或者调整计算窗口规模后可能需要被重新计算。例如，也许要为随着接收的数据元素被去除而缩小规模的一个计算窗口计算自相关。每接收一个数据元素，该数据元素会从计算窗口中去除。数据元素从规模为n的计算窗口去除后，调整后的计算窗口中的n-1个数据元素就会被访问来重新计算自相关。这样，每次数据变化可能只改变了计算窗口中的一小部分数据。使用调整后的计算窗口中的所有数据元素来重新计算自相关涉及重复数据访问和计算，因此耗时并浪费资源。

取决于需要，计算窗口的规模可能非常大，例如计算窗口中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的流数据上用传统方法重新计算自相关无法做到实时处理并且占用和浪费大量计算资源，也使得一些实时地判断流数据自身给定延迟的重复性可能无法满足需求地实现。

发明内容

本发明拓展到方法，系统和计算设备程序产品以减量方式计算给定延迟的自相关从而可以在调整计算窗口规模后实时地判断大数据自身给定延迟的重复性。为一个调整后计算窗口减量计算指定延迟l(l>0)的自相关包括基于调整前计算窗口的延迟为l的自相关的两个以上(p(p>1))组件减量计算调整后计算窗口的延迟为l的自相关的两个以上组件然后根据需要基于减量计算的两个以上组件生成调整后计算窗口的延迟为l的自相关。减量计算自相关只需要访问和使用减量计算的组件，去除的数据元素，以及调整后计算窗口两边的各l个数据元素而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟，提高计算效率，节省计算资源和降低计算系统能耗，使一些实时地判断流数据自身给定延迟的重复性从不可能变为可能。

对于一个给定的自相关减量算法,假设在同一轮减量计算中所有减量计算的组件(包括计算窗口的和或平均值)总数为p(p>1)。直接减量计算的组件个数为v(1≤v≤p),则间接减量计算的组件个数为w＝p-v(w≥0)。其中计算窗口的和或平均值是必须减量计算的特殊组件。和或平均值可以被直接或间接减量计算。