[发明专利]一种基于分布式存储的大数据采样方法及系统

说明书

本发明实施例提供一种基于分布式存储的大数据采样方法及系统，包括：针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时作为该指标的最终采样率；采用该指标的最终采样率自分布式存储模块采样指标数据。基于试算确定最终采样率，降低了服务器成本，节省了计算时间。

技术领域

本发明涉及据分析领域，具体涉及一种基于分布式存储的大数据采样方法及系统。

背景技术

随着互联网的快速普及，每天都会产生大量的数据。对于互联网企业，需要有大数据平台，对海量数据进行计算。这种计算要消耗很多的算力，同时要计算很长的时间。

举个例子，某互联网大型企业，每天的用户行为日志有上百亿，为了计算某个用户行为指标，需要动用上百台服务器，运算4～5个小时，才能计算完成。这种海量数据计算，费时费力，给企业带来很大的成本。

发明内容

本发明实施例提供一种基于分布式存储的大数据采样方法及系统，基于试算确定最终采样率，在能够保证计算准确度满足业务需求的同时，降低了服务器成本，节省了计算时间。

为达上述目的，一方面，本发明实施例提供一种基于分布式存储的大数据采样方法，包括：

将包括各种指标数据的大数据采用分布式存储模块存储，并设置自分布式存储模块采样指标数据时指标的初始采样率；

针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；

采用该指标的最终采样率自分布式存储模块采样指标数据。

另一方面，本发明实施例提供一种基于分布式存储的大数据采样系统，包括：

数据存储单元，用于将包括各种指标数据的大数据采用分布式存储模块存储；

协调管理器，用于设置自分布式存储模块采样指标数据时指标的初始采样率；

采样率计算单元，用于针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按协调管理器设置的初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；

采样单元，用于采用该指标的最终采样率自分布式存储模块采样指标数据。

上述技术方案具有如下有益效果：基于试算确定的最终采样率确定方案，在能够保证计算准确度满足业务需求的同时，降低了服务器成本，节省了计算时间。

附图说明