[发明专利]数据冗余方法及分布式存储集群有效
| 申请号: | 202011025578.4 | 申请日: | 2020-09-25 |
| 公开(公告)号: | CN112052124B | 公开(公告)日: | 2023-09-22 |
| 发明(设计)人: | 苏伟 | 申请(专利权)人: | 杭州宏杉科技股份有限公司 |
| 主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F3/06 |
| 代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 杨春香 |
| 地址: | 310053 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 冗余 方法 分布式 存储 集群 | ||
1.一种数据冗余方法,其特征在于,应用于分布式存储集群,所述分布式存储集群包括至少一个集群节点,每一个集群节点包括至少一块用于存储数据的磁盘,每一块磁盘按照预设Block大小划分为多个Block,所述分布式存储集群配置有至少一个LUN,每一个LUN按照预设Segment大小划分为多个逻辑区间,每一个逻辑区间按照预设Block大小划分为多个子逻辑区间,每一个集群节点针对本节点上的每一块磁盘部署对应的磁盘管理模块,每一个Segment对应一个写入位图,所述写入位图中的每一位用于标识对应子逻辑区间是否写入过数据,每一个Segment还对应一个存储位图,所述存储位图中的每一位用于标识对应子逻辑区间的数据的存储方式,所述分布式存储集群采用N副本方式写入,其中,N大于等于2,所述方法包括:
所述至少一个集群节点中的目标集群节点在监测到未访问目标Segment的时长达到预设时长时,获取所述目标Segment对应的写入位图和存储位图;
所述目标集群节点遍历所述写入位图和所述存储位图,找到写入过数据且存储方式为副本方式的N个第一子逻辑区间;
所述目标集群节点从用于存储所述目标Segment对应数据的N个第一磁盘中,选择目标磁盘;
针对每一个第一子逻辑区间,所述目标集群节点向所述目标磁盘对应的目标磁盘管理模块发送用于读取第一子逻辑区间对应数据的读命令;
所述目标集群节点根据所述目标磁盘管理模块返回的各第一子逻辑区间的数据,计算校验数据;
所述目标集群节点向第二磁盘对应的第二磁盘管理模块发送用于指示将所述校验数据写入所述第二磁盘的写命令,所述第二磁盘为预先指定的用于存储所述目标Segment对应校验数据的磁盘;
所述第二磁盘管理模块从所述第二磁盘中为所述校验数据分配第一Block,并将所述校验数据写入所述第一Block;
针对每一个第一磁盘,所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令,以使所述N个第一子逻辑区间对应数据分别存储于N个第一磁盘中。
2.如权利要求1所述的方法,其特征在于,所述针对每一个第一磁盘,所述目标集群节点向第一磁盘对应的第一磁盘管理模块发送用于指示删除指定数据副本的删除命令之后,所述方法还包括:
针对每一个第一子逻辑区间,所述目标集群节点更新第一子逻辑区间在所述存储位图中对应位所标识的存储方式为纠删码方式。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述目标集群节点接收到需要写入所述目标Segment的写请求时,确定所述写请求涉及到的所述目标Segment中的各第二子逻辑区间,将所述写请求拆分成针对每一个第二子逻辑区间的子写请求;
针对每一个第二子逻辑区间执行如下处理:
所述目标集群节点查询所述目标Segment的写入位图,确定第二子逻辑区间是否写入过数据;
如果第二子逻辑区间写入过数据,所述目标集群节点查询所述目标Segment的存储位图,确定该第二子逻辑区间对应数据的存储方式;
如果该第二子逻辑区间对应数据的存储方式为纠删码方式,所述目标集群节点分别向各第一磁盘管理模块发送针对该第二子逻辑区间的子写请求,该子写请求携带待写入该第二子逻辑区间的数据以及纠删码标志;
第一磁盘管理模块在确定子写请求携带纠删码标志时,为该第二子逻辑区间分配第二Block,将数据写入该第二Block,并记录该第二子逻辑区间与第二Block的映射关系;
所述目标集群节点更新该第二子逻辑区间在所述存储位图中对应位所标识的存储方式为副本方式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州宏杉科技股份有限公司,未经杭州宏杉科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011025578.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:快照实现方法及分布式存储集群
- 下一篇:一种铝模墙角防漏浆机构
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





