[发明专利]数据存储故障诊断方法及系统有效
申请号: | 201911330638.0 | 申请日: | 2019-12-20 |
公开(公告)号: | CN111176916B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 胡振华;孙永鹏 | 申请(专利权)人: | 国久大数据有限公司 |
主分类号: | G06F11/22 | 分类号: | G06F11/22;G06F11/30 |
代理公司: | 成都顶峰专利事务所(普通合伙) 51224 | 代理人: | 曾凯 |
地址: | 646000 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 故障诊断 方法 系统 | ||
本申请提供的数据存储故障诊断方法及系统,涉及分布式存储技术领域。该方法包括:获取存储节点的I/O请求响应情况;将存储节点的I/O请求响应情况输入到预先创建的分布式存储节点运行状态模型中,基于各个存储节点的I/O请求响应情况及该存储节点所在的链路,计算得到各个存储节点在不同链路中I/O请求响应的函数关系;根据各个存储节点在不同链路中I/O请求响应的函数关系,得到存储节点的健康度,基于存储节点的健康度对存储节点发生I/O类故障的原因进行诊断;将存储节点发生I/O类故障的原因发给客户端。上述方法对大型分布式存储集群多存储节点进行自动健康度监测,并基于健康度对各个存储节点的存储故障进行诊断,以减少采用人工运维所需的劳动力。
技术领域
本申请涉及分布式存储技术领域,具体而言,涉及一种数据存储故障诊断方法及系统。
背景技术
在互联网、5G时代,大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中存储节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。高可用性和高可靠性的容错手段是分布式存储的重要技术,目前常采用的容错手段包括多副本机制和MDS码传统容错技术等。
在分布式存储系统中单个存储节点故障或者资源征用问题会引起存储故障问题,不同故障原因会引起存储读写失败,这些故障通常会以I/O类故障现象表现出来,就像I/O请求过程中在预期的时间范围内没有得到服务的响应,则被认定为已“失败”,而在这个过程中没有能及时区分和分析故障原因,而导致后续冗长的故障排查和分析并可能延长故障恢复期。
发明内容
本申请的实施例提供一种数据存储故障诊断方法及系统,用于解决上述技术缺陷。
本申请实施例提供一种数据存储故障诊断方法,应用于数据存储故障诊断系统,所述数据存储故障诊断系统包括通信连接的分布式存储节点、元数据服务器、数据服务器及客户端,所述方法包括:
所述元数据服务器获取所述存储节点的I/O请求响应情况,并在对I/O请求响应情况进行处理后,将处理后所述存储节点的I/O请求响应情况发送给所述数据服务器;
所述数据服务器将所述存储节点的I/O请求响应情况输入到预先创建的分布式存储节点运行状态模型中,基于分布式存储节点中各个存储节点的I/O请求响应情况及该存储节点所在的链路,计算得到各个存储节点在不同链路中I/O请求响应的函数关系;
所述数据服务器根据各个存储节点在不同链路中I/O请求响应的函数关系,得到在所述分布式存储节点中各个链路上存储节点的健康度,基于存储节点的健康度对存储节点发生I/O类故障的原因进行诊断;
将所述存储节点发生I/O类故障的原因发给所述客户端,由所述客户端进行显示,以便用户了解分布式存储节点的存储故障情况。
上述方法对大型分布式存储集群多存储节点进行自动化健康度监测,并基于健康度对各个存储节点的存储故障进行诊断,以减少采用人工运维所需的劳动力,同时在检测到I/O类故障后,对I/O类故障原因进行快速诊断,可以防止后续冗长的故障排查,并缩短故障恢复时间。
可选地,在本申请的一种可选实施方式中,所述元数据服务器获取所述存储节点的I/O请求响应情况的步骤,包括:
所述元数据服务器通过测试探针遍历不同类型I/O请求所需的存储节点,得到所述分布式存储节点中各个存储节点的I/O请求响应情况。
可选地,在本申请的一种可选实施方式中,测试探针包括:
创建并写入文件的测试探针、写入现有文件的测试探针或删除现有文件的测试探针。
可选地,在本申请的一种可选实施方式中,所述I/O请求响应情况包括I/O类故障,导致所述I/O类故障的原因包括:
存储节点失效;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国久大数据有限公司,未经国久大数据有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911330638.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置