[发明专利]一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法

说明书

本发明公开了一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，包括：S1.获取集群监控采集指标模板数据；S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中；S3.通过集群监控指标抽样表查询数据；本发明方法采用MapReduce计算模型，实现集群监控采集的大数据抽样计算，并使用HBase存储集群监控指标抽样数据，解决了在大数据平台下原始数据查询慢的问题。

技术领域

本发明涉及数据处理技术领域，具体而言，为一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法。

背景技术

随着互联网技术，大数据的快速发展，高性能计算机的应用领域越来越广泛，高性能服务器集群部署越来越多，集群监控的应用要求越来越高，同时产生了大量的集群监控采集指标数据。这些数据如何将其高效的存储与管理，已经成为一个迫切需要解决的问题。

Hadoop是由Apache基金会组织开发的一个开源的分布式大数据处理平台，它具有易扩展、高容错、可靠、高效等特点，成为近几年应用最广泛的开源大数据处理平台，其核心是HDFS，MapReduce(Hadoop平台分式计算海量数据计算模型)。HBase使用Hadoop的分布式文件系统HDFS作为底层存储，是一个分布式、面向列的NoSQL数据库，它适合于存储大数据，支持单条记录的快速查询，在任意指定位置单条或批量添加、删除数据，并且支持MapReduce框架做分布式计算操作。目前越来越多的科研和企业单位都在应用Hadoop和Hbase，并取得了一定的成果。但随着时间的推移，集群监控指标原始数据指数增长，根据原始数据做分析和应用，性能极其低下；且由于Hadoop环境硬件资源配置的限制(存储空间，内存大小，CPU处理核数等)，不能支持太大数据和计算，检索数据性能方面仍有很多不足。

有鉴于此，特提出本发明。

发明内容

针对现有技术中的缺陷，本发明提供一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，以利于提高集群监控数据的查询性能。

为了实现上述目的，本发明的技术方案为：

一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，包括：

S1.获取集群监控采集指标模板数据；

S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，其中，在Map阶段对获取到的集群监控采集指标原始数据进行：过滤掉错误数据，然后根据集群监控采集指标模板数据和集群监控采集指标原始数据做对比，把符合的数据筛选出来，分成若干个数据集，生成新的Key，Value数据，输出到Reduce阶段；

Reduce阶段：遍历Map阶段输出的若干数据集，对每一类指标值的数据集进行汇总总量，并计算平均值、最大值和最小值；

S3.将计算出的平均值、最大值和最小值，重新组装成Key，Value数据，输出到集群监控指标抽样表中，通过集群监控指标抽样表查询数据。

优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S1.获取集群监控采集指标模板数据中，从MySql关系型数据库获取集群监控采集指标模板数据。

优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，包括

S21.设置定时任务程序；

S22.调用MapReduce程序进行抽样、对比计算；

S23.计算结果重新组装成新的集群监控采集指标数据输出结果到Hbase数据库中。