[发明专利]磁盘的故障预测方法和装置有效
申请号: | 201610065807.2 | 申请日: | 2016-01-29 |
公开(公告)号: | CN107025154B | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 丁永明;周俊;崔卿;瞿神全 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F11/22 | 分类号: | G06F11/22;G06F11/30 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 宋子良 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 磁盘 故障 预测 方法 装置 | ||
1.一种磁盘的故障预测方法,其特征在于,包括:
通过磁盘监控技术获取磁盘的样本磁盘数据,其中,所述样本磁盘数据包括多个维度上的样本数据,按照预设的正负样本比例进行样本数据的获取,正样本为存在故障的磁盘,负样本为不存在故障的磁盘,所述正负样本比例是根据实际磁盘损坏情况确定;
采用GBDT算法对所述样本磁盘数据进行样本训练,得到由多个决策树组成的磁盘预测模型,其中,根据每个决策树在评价体系中的重要性,来确认每个决策树的权重值,从而得到磁盘预测模型;
在接收到待测磁盘的磁盘数据之后,使用所述由多个决策树组成的磁盘预测模型对所述待测磁盘的磁盘数据进行处理,确定所述待测磁盘是否为故障磁盘;
其中,采用GBDT算法对所述样本磁盘数据进行两次样本训练,得到所述磁盘预测模型,在第一次样本训练的过程中,利用所述样本磁盘数据进行训练,并在第二次样本训练的过程中,利用所述第一次样本训练中预测为正样本的样本磁盘数据进行训练。
2.根据权利要求1所述的方法,其特征在于,所述样本磁盘数据为SMART磁盘数据,其中,所述样本磁盘数据至少包括如下四个维度上的样本数据:原始值、标准值、最差值和累积值。
3.根据权利要求2所述的方法,其特征在于,在通过磁盘监控技术获取磁盘的样本磁盘数据之后,所述方法还包括:
对每个维度上的样本数据进行如下任意一种或多种运算:差分运算、平方运算和分布求和运算,使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,采用GBDT算法对所述样本磁盘数据进行样本训练,得到由多个决策树组成的磁盘预测模型,包括:
以所有磁盘的样本磁盘数据作为训练数据,并采用默认值初始化所述训练数据的分类模型参数;
提取所述训练数据中的多个特征数据,将每个特征数据作为根节点在创建所述多个决策树,并将每个特征数据对应的特征值作为对应的决策树的叶子节点;
计算当前所有叶子节点的最优划分以及其增益,并以增益最大的叶子节点以及对应的划分点进行分裂,使得将所述样本磁盘数据划分到子节点中。
5.根据权利要求4所述的方法,其特征在于,提取所述训练数据中的多个特征数据,将每个特征数据作为根节点在创建所述多个决策树,并将每个特征数据对应的特征值作为对应的决策树的叶子节点,包括:
读取任意一个特征数据对应的阈值;
将所述任意一个特征数据的特征值与所述阈值进行比较,并根据比较结果得到两个分支的熵;
根据所述两个分支的熵确定两个新节点作为所述任意一个特征数据的两个叶子节点;
对每一个特征数据进行处理,直到每个特征数据得到预定的两个唯一的叶子节点。
6.根据权利要求4所述的方法,其特征在于,在得到由多个决策树组成的磁盘预测模型之后,所述方法还包括:对所述分类模型参数进行调整,其中,在所述分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下,如果要确定所述待测磁盘是否为故障磁盘,则将所述分类模型参数中的故障磁盘样本的比例调高。
7.根据权利要求1所述的方法,其特征在于,使用所述由多个决策树组成的磁盘预测模型对所述待测磁盘的磁盘数据进行处理,确定所述待测磁盘是否为故障磁盘,包括:
接收到所述待测磁盘的磁盘数据之后,对所述待测磁盘的磁盘数据赋予一个初始值;
根据所述待测磁盘的初始值遍历每一个决策树,计算得到第一个决策树所确定的预测结果和第一残差,并将所述第一残差赋值给所述初始值,得到更新后的初始值;
以所述更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差,并将所述第二残差赋值给所述更新后的初始值,以此遍历所有的决策树,得到预测所述待测磁盘是否为故障磁盘的结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610065807.2/1.html,转载请声明来源钻瓜专利网。