[发明专利]基于决策函数模型的HBase故障预测方法、系统、设备和介质在审
| 申请号: | 202210010326.7 | 申请日: | 2022-01-06 |
| 公开(公告)号: | CN114518971A | 公开(公告)日: | 2022-05-20 |
| 发明(设计)人: | 梁晓冬 | 申请(专利权)人: | 同盾科技有限公司 |
| 主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F11/30;G06K9/62 |
| 代理公司: | 杭州创智卓英知识产权代理事务所(普通合伙) 33324 | 代理人: | 季健康 |
| 地址: | 311121 浙江省杭州市余*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 决策 函数 模型 hbase 故障 预测 方法 系统 设备 介质 | ||
1.一种基于决策函数模型的HBase故障预测方法,其特征在于,包括:
采集HBase在各种故障场景下发生的监控项数据,根据各故障场景对所述监控项数据进行分类,确定每个故障场景对应的多个监控项;
基于所述每个故障场景对应的多个监控项,分别建立每个故障场景对应的决策函数模型,其中,各所述决策函数模型的预测结论与各所述故障场景对应的多个监控项的阈值范围关联;
获取HBase环境下各监控项的值,将各所述故障场景对应的多个监控项的值相应的输入各所述故障场景对应的决策函数模型,得出各所述故障场景对应的预测结论。
2.根据权利要求1所述的方法,其特征在于,所述采集HBase在各种故障场景下发生的监控项数据包括:
采集硬件和操作系统的压力数据、HBase进程内部运行任务的压力数据以及对所述HBase进程产生影响的上游进程的状态数据。
3.根据权利要求2所述的方法,其特征在于,所述硬件和操作系统的压力数据包括CPU负载,CPU IOwait,网卡入口流量,网卡出口流量,内存使用量,磁盘IOPS和磁盘IOwait中的至少一项。
4.根据权利要求2所述的方法,其特征在于,所述HBase进程内部运行任务的压力数据包括:Get读请求返回时间,Scan读请求返回时间,写请求返回时间,Get读请求并发度,Scan读并发度,写并发度,HBase进程Active线程数目,HBase进程处理队列积压数目,HBase进程优先Active线程数目,HBase进程优先处理队列积压数目,HBase younggc时间,HBase oldgc时间和HBase compaction队列数目中的至少一项。
5.根据权利要求2所述的方法,其特征在于,所述对所述HBase进程产生影响的上游进程的状态数据包括:HDFS namenode gc时间,HDFS Namenode rpc请求返回时间,HDFSnamenode rpc并发度和Zookeeper健康数据中的至少一项。
6.根据权利要求1所述的方法,其特征在于,在所述监控项包括日志的情况下,所述获取HBase环境下各监控项的值包括:
定时扫描日志数据,统计预设时间段内出现指定信息的频次。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据各故障场景对所述监控项数据进行分类,确定每个故障场景对应的多个监控项包括:
根据分类后的监控项数据,对每个故障场景选取关联性最大的多个监控项数据作为各故障场景所对应的多个监控项数据。
8.一种基于决策函数模型的HBase故障预测系统,其特征在于,包括:
采集模块,用于采集HBase在各种故障场景下发生的监控项数据;
分类模块,用于根据各故障场景对所述监控项数据进行分类,确定每个故障场景对应的多个监控项;
建立模块,用于基于所述每个故障场景对应的多个监控项,分别建立每个故障场景对应的决策函数模型,其中,各所述决策函数模型的预测结论与各所述故障场景对应的多个监控项的阈值范围关联;
预测模块,用于获取HBase环境下各监控项的值,将各所述故障场景对应的多个监控项的值相应的输入各所述故障场景对应的决策函数模型,得出各所述故障场景对应的预测结论。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同盾科技有限公司,未经同盾科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210010326.7/1.html,转载请声明来源钻瓜专利网。





