[发明专利]一种实时判断大数据自身给定延迟重复性的方法

说明书

给定延迟的自相关可用于判断时间序列或流化大数据自身给定延迟的重复性。本发明公开了一种通过减量计算时间序列或流化大数据的计算窗口的指定延迟的自相关从而可以实时地判断时间序列或流化大数据自身给定延迟重复性的方法，系统和计算设备程序产品。本发明的实施方案包括基于调整前计算窗口的指定延迟的自相关的二个以上组件减量计算调整后计算窗口的指定延迟的自相关的二个以上组件，然后根据需要基于减量计算的二个以上组件生成调整后计算窗口的指定延迟的自相关。减量计算自相关避免访问调整后计算窗口中的所有数据元素和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗，使得实时判断大数据自身给定延迟重复性高效低耗及一些实时判断大数据自身给定延迟重复性从不可能变为可能。

技术领域

大数据或流数据分析。

背景技术

互联网，移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

自相关，也被称为延迟相关或序列相关，是一个特定的时间序列与延迟了l个时间点的该时间序列本身的相关程度的一个度量。它可以通过一个时间序列的相隔了l个时间点的观察值的协相关除以其标准方差来得到。某个延迟的自相关值为1或接近1可认为时间序列或流化大数据在该延迟后出现自身重复规律，因此基于给定延迟的自相关判断大数据自身给定延迟的重复性显而易见，而困难和挑战在于如何实时地在大数据上计算自相关。

为了能够实时发现和利用最新数据的自身重复性及反映最新的数据状况，自相关可能会在大数据集有变化后需要重新计算，例如在数据从大数据集去除后或者调整计算窗口规模后,并因此很多数据元素可能会被重复访问和使用。例如，为一个规模为n并随着新访问的大数据集的数据元素而缩小的计算窗口计算自相关。每访问一个数据元素，该数据元素会从计算窗口去除，计算窗口中的n-1个数据元素就会被访问来重新计算自相关。使用计算窗口中的所有数据元素来重新计算自相关涉及重复数据访问和计算，因此耗时并浪费资源。

取决于需要，计算窗口的规模可能非常大，例如计算窗口中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的大数据上用传统方法重新计算自相关无法做到实时处理并且占用和浪费大量计算资源。因此用传统方法实时地判断大数据自身给定延迟的重复性不仅浪费大量计算资源也可能无法满足需求地实现。

发明内容

本发明拓展到方法，系统和计算设备程序产品以减量方式计算给定延迟的自相关从而可以在调整计算窗口规模后实时地判断大数据自身给定延迟的重复性。为一个调整后计算窗口减量计算指定延迟l(l>0)的自相关包括基于调整前计算窗口的指定延迟的自相关的两个以上(p(p>1))组件减量计算调整后计算窗口的指定延迟的自相关的两个以上组件然后根据需要基于减量计算的两个以上组件生成调整后计算窗口的指定延迟的自相关。减量计算自相关只需要访问和使用被去除的数据元素，减量计算的组件以及调整后计算窗口两边的各l个数据元素而避免访问调整后计算窗口中的所有数据元素和执行重复计算从而降低数据访问延迟，提高计算效率，节省计算资源和降低计算系统能耗。

对于一个给定的自相关减量算法,假设在同一轮减量计算中所有减量计算的组件(包括计算窗口的和或平均值)总数为p(p>1)。直接减量计算的组件个数为v(1≤v≤p),则间接减量计算的组件个数为w＝p-v(w≥0)。其中计算窗口的和或平均值是必须减量计算的特殊组件。和或平均值可以被直接或间接减量计算。

计算系统初始化延迟l(l>0)，计算窗口规模n(n>l)和保存在一个或多个存储媒体上的大数据集的规模为n的调整前计算窗口的延迟为l的自相关的p(p>1)个组件。

计算系统访问一个要从调整前计算窗口去除的数据元素或该数据元素的相关信息(例如，索引或地址)。要去除的数据元素必须是调整前计算窗口中存在的数据元素不然计算结果会出错。