[发明专利]基于决策函数模型的HBase故障预测方法、系统、设备和介质

说明书

本申请涉及基于决策函数模型的HBase故障预测方法、系统、设备和介质，属于分布式存储技术领域，该方法包括：采集HBase在各种故障场景下发生的监控项数据，根据各故障场景对监控项数据进行分类，确定每个故障场景对应的多个监控项；基于每个故障场景对应的多个监控项，分别建立每个故障场景对应的决策函数模型，其中，各决策函数模型的预测结论与各故障场景对应的多个监控项的阈值范围关联；获取HBase环境下各监控项的值，将各故障场景对应的多个监控项的值相应的输入各故障场景对应的决策函数模型，得出各故障场景对应的预测结论。不仅实现了故障结论的自动分析，提高了故障分析效率，而且能够对故障分类处理，同时提高了预测结果的准确性。

技术领域

本申请涉及分布式存储技术领域，特别是涉及基于决策函数模型的HBase故障预测方法、系统、设备和介质。

背景技术

HBase是一种开源分布式数据存储系统，基于谷歌Bigtable论文开发，其需要运行在Hdfs(一种开源分布式文件系统)之上。HBase是大数据生态中使用最广泛的分布式存储软件之一，国内就有很多大中型企业使用HBase存储各种海量的离线和实时数据。然而，HBase的异常、故障已成为使用HBase的公司的运维难题，比如国内就有某金融互联网公司曾因为HBase异常造成业务大面积中断。

因此，HBase的故障监控非常重要，所以每个公司都有针对HBase的监控方案。但是，因为HBase产品的复杂性、部署的复杂性，目前对各种异常的感知、故障的分析并没有成熟的解决方案，绝大部分公司都依赖于开发运维人员的前期经验，对各种数据进行查看、分析诊断再干预。整个查看、诊断的过程经常要消耗大量时间，效率低，导致故障不能被尽早干预或者确认，进一步拖延了后续的优化处理过程。

发明内容

本申请实施例提供了一种基于决策函数模型的HBase故障预测方法、系统、设备和介质，以至少解决相关技术中通过人为分析HBase故障，具有滞后性且效率低的问题。

第一方面，本申请实施例提供一种基于决策函数模型的HBase故障预测方法，包括：采集HBase在各种故障场景下发生的监控项数据，根据各故障场景对所述监控项数据进行分类，确定每个故障场景对应的多个监控项；基于所述每个故障场景对应的多个监控项，分别建立每个故障场景对应的决策函数模型，其中，各所述决策函数模型的预测结论与各所述故障场景对应的多个监控项的阈值范围关联；获取HBase环境下各监控项的值，将各所述故障场景对应的多个监控项的值相应的输入各所述故障场景对应的决策函数模型，得出各所述故障场景对应的预测结论。

在其中一些实施例中，所述采集HBase在各种故障场景下发生的监控项数据包括：采集硬件和操作系统的压力数据、HBase进程内部运行任务的压力数据以及对所述HBase进程产生影响的上游进程的状态数据。

在其中一些实施例中，所述硬件和操作系统的压力数据包括CPU负载，CPUIOwait，网卡入口流量，网卡出口流量，内存使用量，磁盘IOPS和磁盘IOwait中的至少一项。

在其中一些实施例中，所述HBase进程内部运行任务的压力数据包括：Get读请求返回时间，Scan读请求返回时间，写请求返回时间，Get读请求并发度，Scan读并发度，写并发度，HBase进程Active线程数目，HBase进程处理队列积压数目，HBase进程优先Active线程数目，HBase进程优先处理队列积压数目，HBase younggc时间，HBase old gc时间和HBase compaction队列数目中的至少一项。

在其中一些实施例中，所述对所述HBase进程产生影响的上游进程的状态数据包括：HDFS namenode gc时间，HDFS Namenode rpc请求返回时间，HDFS namenode rpc并发度和Zookeeper健康数据中的至少一项。

在其中一些实施例中，在所述监控项包括日志的情况下，所述获取HBase环境下各监控项的值包括：定时扫描日志数据，统计预设时间段内出现指定信息的频次。