[发明专利]分布式存储系统访问方法、客户端及计算机程序产品在审
申请号: | 201910696998.6 | 申请日: | 2019-07-30 |
公开(公告)号: | CN110554839A | 公开(公告)日: | 2019-12-10 |
发明(设计)人: | 杨瑞;陈虎 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/08;G06F11/10 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 硬盘 客户端 分布式存储系统 访问性能 分区 访问请求 访问时延 发送 访问 检测 | ||
公开了一种分布式存储系统访问方法,客户端检测分区中多个硬盘的性能,分区中第一硬盘的性能异常,客户端向分区中除第一硬盘外的一个或多个硬盘发送访问请求,从而客户端不需要确定该第一硬盘为慢盘即可不访问该第一硬盘,避免了访问性能异常的第一硬盘导致的访问时延增加,提高了分布式存储系统中的访问性能。
技术领域
本发明涉及信息技术领域,尤其涉及分布式存储系统访问方法、客户端及计算机程序产品。
背景技术
分布式存储系统中包含多个存储节点,客户端根据主机发送的写请求向分布式存储系统中写入数据时,数据是以分条的形式存储在分条所属的分区中的存储节点的硬盘。其中,分区包含由多个存储节点的硬盘,通常一个存储节点为一个分区提供一个硬盘。例如,基于纠删码(Erasure Coding,EC)算法,分条中数据条带数量为N,校验条带的数量为M,分条的长度为N+M,其中N和M均为正整数。客户端将待存储的数据划分为N个数据条带的数据块,根据EC算法生成M个校验条带的校验数据,即校验块。客户端将N+M长度的分条的条带的数据写入相应的N+M存储节点的硬盘。分布式存储系统记录分区与分区包含的存储节点的硬盘的对应关系。一个分区会包含多个分条,分布式存储系统写入数据时,根据数据所在的分区分配分条。分布式存储系统读取数据时,根据读取的数据的存储地址确定读取的数据所在的分区,从相应的分区的分条中读取数据。
分布式存储系统的上述数据读写访问方式会涉及到多个硬盘。当多个硬盘中出现慢盘时,访问时延会被慢盘拖慢,从而影响分布式存储系统的访问性能。现有技术分布式存储系统在检测并且确认是慢盘时,将隔离慢盘。即将慢盘从分区中删除,客户端不再访问该硬盘,从而影响分布式存储系统的访问性能。
发明内容
本申请提供了一种分布式存储系统访问方法、客户端及计算机程序产品,避免了分布式存储系统中慢盘检测导致的访问时延增加问题,提高了分布式存储系统的访问性能。
第一方面,本发明提供了一种分布式存储系统,所述分布式存储系统包含客户端和多个存储节点,每一个存储节点包含硬盘;所述分布式存储系统包含分区,所述分区包含多个硬盘;所述多个硬盘分别位于不同的存储节点;所述方法包括:所述客户端检测所述分区中所述多个硬盘的性能;当所述第一硬盘的性能异常但尚未确认所述第一硬盘是慢盘时,所述客户端向所述分区中除所述第一硬盘外的其他一个或多个硬盘发送访问请求;所述第一硬盘为所述分区中第一存储节点上的硬盘。本方案检测到硬盘性能异常但尚未确认硬盘是慢盘,例如访问时延增加等,即不再访问性能异常的硬盘,从而避免了分布式存储系统中慢盘检测导致的访问时延增加问题,提高了分布式存储系统的访问性能。
作为一种可选的实现方式,所述方法还包括:所述客户端检测性能异常的所述第一硬盘是否属于慢盘。本方案中在检测分区中的硬盘性能异常但尚未确认硬盘是慢盘时,即不再向该硬盘发送访问请求,而是将访问请求切换到分区中的其他硬盘中。在切换访问请求之后,继续检测该性能异常的硬盘是否是慢盘,如果确定是慢盘,则可以将该慢盘从分布式存储系统中隔离。进一步的,所述客户端检测性能异常的所述第一硬盘是否属于慢盘,具体包括:所述客户端向所述第一硬盘发送访问探测请求用于确定所述第一硬盘是否属于慢盘。
作为一种可选的实现方式,所述分区使用多副本冗余机制;所述客户端向所述分区中除所述第一硬盘外的其他一个或多个硬盘发送访问请求,具体包括:所述客户端向所述分区中的第二存储节点中的第二硬盘发送读请求;所述第二硬盘存储有所述第一硬盘的数据的副本。本方案中当访问请求为读请求时,分区是使用多副本冗余机制,在第一硬盘性能异常但尚未确认第一硬盘是慢盘时,客户端访问分区中的第二硬盘中的数据。因为分区是使用的多副本冗余,所以分区中的第一硬盘与第二硬盘存储有相同的数据副本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910696998.6/2.html,转载请声明来源钻瓜专利网。