[发明专利]一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法

权利要求书

1.一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，包括：

S1.获取集群监控采集指标模板数据；

S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，其中，在Map阶段对获取到的集群监控采集指标原始数据进行：过滤掉错误数据，然后根据集群监控采集指标模板数据和集群监控采集指标原始数据做对比，把符合的数据筛选出来，分成若干个数据集，生成新的Key，Value数据，输出到Reduce阶段；

Reduce阶段：遍历Map阶段输出的若干数据集，对每一类指标值的数据集进行汇总总量，并计算平均值、最大值和最小值；

S3.将计算出的所述平均值、最大值和最小值，重新组装成Key，Value数据，输出到集群监控指标抽样表中，通过集群监控指标抽样表查询数据。

2.根据权利要求1所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S1.获取集群监控采集指标模板数据中，从MySql关系型数据库获取集群监控采集指标模板数据。

3.根据权利要求2所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，包括

S21.设置定时任务程序；

S22.调用MapReduce程序进行抽样、对比计算；

S23.计算结果重新组装成新的集群监控采集指标数据输出结果到Hbase数据库中。

4.根据权利要求3所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S22.调用MapReduce程序进行抽样、对比计算，包括

编写一个分布式计算MapReduce程序，查询Hbase存储的集群监控采集指标原始数据。

5.根据权利要求4所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S3.通过集群监控指标抽样表查询数据，包括

对集群监控指标抽样数据明确指标名，指定时间点的查询：

对集群监控指标抽样数据明确指标名，指定时间段的查询；

对集群监控指标抽样数据指定时间段的查询。

6.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据明确指标名，指定时间点的查询，包括

通过Hbase自身索引结构及算法，使用Hbase api接口调用get方法根据RowKey获取一行数据。

7.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据明确指标名，指定时间段的查询，包括

通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据StartRow指定查询，获取符合目标要求的Hbase一批数据。

8.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据指定时间段的查询，包括

通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据TimeRange函数查询，获取获取目标要求的Hbase一批数据。

9.一种系统，用于实施权利要求1-8任一项所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法。