[发明专利]一种实时预测大数据变化趋势的方法

说明书

本发明公开了一种通过大数据上一个变量实时预测另一个变量的变化趋势的方法，系统和计算系统程序产品。本发明的实施方案包括基于调整前计算集的简单线性回归系数的多个组件迭代计算调整后计算集的简单线性回归系数的多个组件，然后根据需要基于迭代计算的组件生成调整后计算集的简单线性回归系数。迭代计算简单线性回归系数可以基于最新数据实时更新预测结果并避免访问调整后计算集中的所有数据元素对和执行重复计算从而提高计算效率，节省计算资源和降低计算系统能耗。

技术领域

大数据或流数据分析。

背景技术

互联网，移动通讯,导航,网游,感应技术和大规模计算基础设施每天产生海量数据。大数据就是由于其巨大规模,快速变化及增长速度而超出了传统数据库系统的处理能力及传统分析方法的分析能力的数据。

当两个变量有强线性相关关系时，简单线性回归可基于一个独立变量(也叫解释变量或自变量)的观测数据实时预测另一个从属变量(也叫反应变量或因变量)的值，即可以基于一个变量的变化趋势预测另一个变量的变化趋势。当在大数据上做简单线性回归计算时，可能需要访问大量数据元素。

为了能够随时得到利用了最新数据的预测结果，简单线性回归系数可能会在大数据集有变化后需要重新计算。因此，一些(可能很多)数据元素会被重复访问和使用。例如，有可能简单线性回归系数在含有n对数据元素的计算集上被计算。当一对数据元素(一个独立变量数据元素和一个从属变量数据元素)从计算集里被去除和一对数据元素被加入计算集后，计算集里所有的n对数据元素被访问来重新计算简单线性回归系数。

取决于需要，计算集的规模可能非常大，例如计算集中的数据元素可能分布在云平台的成千上万台计算设备上。在一些数据变化后的大数据上用传统方法重新计算简单线性回归系数无法做到实时处理并且占用和浪费大量计算资源。

发明内容

本发明拓展到方法，系统和计算系统程序产品以迭代方式计算大数据的调整后计算集的简单线性回归系数从而可以实时预测大数据变化趋势。为一个调整后计算集迭代计算简单线性回归系数包括基于调整前计算集的简单线性回归系数的多个组件迭代计算调整后计算集的简单线性回归系数的多个组件然后根据需要基于迭代计算的组件生成调整后计算集的简单线性回归系数。迭代计算简单线性回归系数只需要访问和使用迭代计算的组件，新加入和去除的数据元素对而避免访问调整后计算集中的所有数据元素和执行重复计算从而降低数据访问延迟，提高计算效率，节省计算资源和降低计算系统能耗。

对于一个给定的简单线性回归系数迭代算法,假设在同一轮迭代计算中所有迭代计算的组件(包括计算集中每个变量的和或平均值)总数为p(p≥3)。直接迭代的组件个数为v(1≤v≤p),则间接迭代的组件个数为w＝p-v(w≥0)。其中计算集中每个变量的和或平均值是必须迭代计算的特殊组件。和或平均值可以被直接或间接迭代计算。

计算系统初始化存储在一个或多个存储媒体上的一个大数据集的一个调整前计算集中简单线性回归系数的，包括每个变量的一个和或一个平均值在内的，三个以上(p,p≥3)组件。该三个以上组件的初始化包括从计算设备可读媒体上接收或访问已计算过的组件或基于调整前计算集中的数据元素根据组件的定义来计算。

计算系统访问一个要从调整前计算集中去除的数据元素对和一个要被加入到调整前计算集的数据元素对。

计算系统通过从调整前计算集中去除要去除的数据元素对和向调整前计算集加入要加入的数据元素对来调整调整前计算集。

计算系统直接迭代计算调整后计算集的简单线性回归系数的一个或多个(v,1≤v≤p)组件。直接迭代计算这v个组件包括：访问调整前计算集的v个组件；从v个组件中的每个组件中数学地去除被去除的数据元素对的贡献；以及向v个组件中的每个组件数学地加入被加入的数据元素对的贡献而避免访问和使用调整后计算集中的所有数据元素来降低数据访问延迟，节省计算资源和降低能耗和提高计算效率。