[发明专利]一种面向大数据聚集分析的近似计算方法

摘要

本发明公开一种面向大数据聚集分析的近似计算方法，主要包括数据分割、渐进近似计算以及聚集增量更新三个模块。数据分割模块将原始大数据顺序划分成多个流式数据片，并调整每个数据片中的数据元组。渐进近似计算模块从首个数据片开始处理输入到该模块中的所有数据片，调用聚集增量更新模块获取分析结果值的多次采样值，在此基础上，返回近似分析结果值以及相对标准差/置信区间。当用户接受当前近似值所处的相对标准差/置信区间时，分析过程停止，否则，将增加一个数据片来提高分析结果的精度。本发明具有分析速度快、分析结果准确度高以及分析过程更人性化等优点，能够有效应用于电子商务、智能交通、商业智能、医疗健康以及数据可视化等领域。

主权项

一种面向大数据聚集分析的近似计算方法，其特征在于，包括如下步骤：数据分割步骤(1)：首先将基础大数据顺序划分成多个不相交的数据片，并按一定的比例交换不同数据片中的数据元组；渐进近似计算步骤(2)：从第一个数据片开始，依次接收数据分割步骤(1)输入的数据片，并将所接收的数据片传送给聚集增量更新步骤(3)之后，等待聚集增量更新步骤(3)计算并返回给定个数的聚集分析结果采样值，然后，基于这些聚集分析结果采样值来求取它们的平均值、相对标准偏差以及置信区间，并将这三个值返回给终端用户；如果用户接受相对标准偏差和置信区间，那么分析过程停止，否则，从数据分割步骤(1)再输入一个数据片并进行后续的处理；聚集增量更新步骤(3)：接收渐进近似计算步骤(2)传送过来的数据片，将该数据片与历史处理过的所有数据片进行合并，然后在合并后的全局数据片上进行给定次数的有放回采样，并在每次采样后的数据样本集上增量计算并更新聚集分析的结果，从而得到该样本集上的聚集分析结果采样值；当所有样本集均处理完毕后，将这些聚集分析结果采样值返回给近似计算步骤(2)。