[发明专利]一种基于分布式存储的大数据采样方法及系统

权利要求书

1.一种基于分布式存储的大数据采样方法，其特征在于，包括：

将包括各种指标数据的大数据采用分布式存储模块存储，并设置自分布式存储模块采样指标数据时指标的初始采样率；

针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；

采用该指标的最终采样率自分布式存储模块采样指标数据。

2.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，所述包括各种指标数数据的大数据采用分布式存储模块存储，包括：

采用封装hdfs系统将大数据顺序写入所述封装hdfs系统中不同的分布式存储模块。

3.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，所述按预设方式修正前一采样率得到后一采样率包括：采用对前一采样率折半迭代的方式修正前一采样率得到后一采样率。

4.根据权利要求3所述的基于分布式存储的大数据采样方法，其特征在于，所述针对每一指标，对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率，包括：

针对每个采样率的指标采样数据，计算该指标采样数据内异常指标数据在所述预设时间段的指标数据内的占比，计算该采样率相应的异常数据占比误差；其中，所述异常数据占比误差是指采样时异常指标数据在所述预设时间段的指标数据内的占比与非采样时异常指标数据占比的差值，所述非采样时异常指标数据占比是指预设时间段内所有异常指标数据在所述预设时间段的指标数据内的占比；

当前一采样率相应的异常数据占比误差小于预设误差阈值、且后一采样率相应的异常数据占比误差大于预设误差阈值时，将前一采样率作为该指标的最终采样率。

5.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，还包括：

针对所有指标，按指定时间间隔推送自分布式存储模块内获取的预设时间段内的指标数据、以及自所述预设时间段的指标数据内随机采样得到的指标采样数据；

所述对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果，具体包括：

在接收到自分布式存储模块内获取的预设时间段内的指标数据、以及自所述预设时间段的指标数据内随机采样得到的指标采样数据之后，对采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果。

6.一种基于分布式存储的大数据采样系统，其特征在于，包括：

数据存储单元，用于将包括各种指标数据的大数据采用分布式存储模块存储；

协调管理器，用于设置自分布式存储模块采样指标数据时指标的初始采样率；

采样率计算单元，用于针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按协调管理器设置的初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；

采样单元，用于采用该指标的最终采样率自分布式存储模块采样指标数据。