[发明专利]数据冗余方法及分布式存储集群有效

专利信息
申请号: 202011025578.4 申请日: 2020-09-25
公开(公告)号: CN112052124B 公开(公告)日: 2023-09-22
发明(设计)人: 苏伟 申请(专利权)人: 杭州宏杉科技股份有限公司
主分类号: G06F11/14 分类号: G06F11/14;G06F3/06
代理公司: 北京博思佳知识产权代理有限公司 11415 代理人: 杨春香
地址: 310053 浙江省杭州市滨江*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 冗余 方法 分布式 存储 集群
【权利要求书】:

1.一种数据冗余方法,其特征在于,应用于分布式存储集群,所述分布式存储集群包括至少一个集群节点,每一个集群节点包括至少一块用于存储数据的磁盘,每一块磁盘按照预设Block大小划分为多个Block,所述分布式存储集群配置有至少一个LUN,每一个LUN按照预设Segment大小划分为多个逻辑区间,每一个逻辑区间按照预设Block大小划分为多个子逻辑区间,每一个集群节点针对本节点上的每一块磁盘部署对应的磁盘管理模块,每一个Segment对应一个写入位图,所述写入位图中的每一位用于标识对应子逻辑区间是否写入过数据,每一个Segment还对应一个存储位图,所述存储位图中的每一位用于标识对应子逻辑区间的数据的存储方式,所述分布式存储集群采用N副本方式写入,其中,N大于等于2,所述方法包括:

所述至少一个集群节点中的目标集群节点在监测到未访问目标Segment的时长达到预设时长时,获取所述目标Segment对应的写入位图和存储位图;

所述目标集群节点遍历所述写入位图和所述存储位图,找到写入过数据且存储方式为副本方式的N个第一子逻辑区间;

所述目标集群节点从用于存储所述目标Segment对应数据的N个第一磁盘中,选择目标磁盘;

针对每一个第一子逻辑区间,所述目标集群节点向所述目标磁盘对应的目标磁盘管理模块发送用于读取第一子逻辑区间对应数据的读命令;

所述目标集群节点根据所述目标磁盘管理模块返回的各第一子逻辑区间的数据,计算校验数据;

所述目标集群节点向第二磁盘对应的第二磁盘管理模块发送用于指示将所述校验数据写入所述第二磁盘的写命令,所述第二磁盘为预先指定的用于存储所述目标Segment对应校验数据的磁盘;

所述第二磁盘管理模块从所述第二磁盘中为所述校验数据分配第一Block,并将所述校验数据写入所述第一Block;

针对每一个第一磁盘,所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令,以使所述N个第一子逻辑区间对应数据分别存储于N个第一磁盘中。

2.如权利要求1所述的方法,其特征在于,所述针对每一个第一磁盘,所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令之后,所述方法还包括:

针对每一个第一子逻辑区间,所述目标集群节点更新第一子逻辑区间在所述存储位图中对应位所标识的存储方式为纠删码方式。

3.如权利要求1所述的方法,其特征在于,所述方法还包括:

所述目标集群节点接收到需要写入所述目标Segment的写请求时,确定所述写请求涉及到的所述目标Segment中的各第二子逻辑区间,将所述写请求拆分成针对每一个第二子逻辑区间的子写请求;

针对每一个第二子逻辑区间执行如下处理:

所述目标集群节点查询所述目标Segment的写入位图,确定第二子逻辑区间是否写入过数据;

如果第二子逻辑区间写入过数据,所述目标集群节点查询所述目标Segment的存储位图,确定该第二子逻辑区间对应数据的存储方式;

如果该第二子逻辑区间对应数据的存储方式为纠删码方式,所述目标集群节点分别向各第一磁盘管理模块发送针对该第二子逻辑区间的子写请求,该子写请求携带待写入该第二子逻辑区间的数据以及纠删码标志;

第一磁盘管理模块在确定子写请求携带纠删码标志时,为该第二子逻辑区间分配第二Block,将数据写入该第二Block,并记录该第二子逻辑区间与第二Block的映射关系;

所述目标集群节点更新该第二子逻辑区间在所述存储位图中对应位所标识的存储方式为副本方式。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州宏杉科技股份有限公司,未经杭州宏杉科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011025578.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top