[发明专利]一种数据重构方法及装置在审
申请号: | 202210303513.4 | 申请日: | 2022-03-24 |
公开(公告)号: | CN114691042A | 公开(公告)日: | 2022-07-01 |
发明(设计)人: | 王竹凡;庄灿伟;邱晗;董元元 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/10 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 靳玫 |
地址: | 310052 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 方法 装置 | ||
1.一种数据重构方法,应用于分布式存储系统,所述分布式存储系统包括一个元数据节点和若干数据节点;所述方法包括:
所述元数据节点根据存储目标数据片对应的纠删码EC校验组的故障域,选择存储节点;所述目标数据片是待重构的数据片,所述存储节点不属于:除存储目标数据片的故障域之外,其他存储所述EC校验组的故障域;
所述元数据节点在所述若干数据节点中选择重构节点;
所述重构节点获取所述目标数据片对应的EC校验组的其他数据片和校验片,并根据获取的所述其他数据片和校验片重构所述目标数据片;
所述重构节点将重构后的目标数据片发送至所述存储节点,所述存储节点存储所述重构后的目标数据片。
2.根据权利要求1所述的方法,所述元数据节点在所述若干数据节点中选择重构节点,包括:
所述元数据节点获取各个数据节点的可用重构带宽;
所述元数据节点根据所述各个数据节点的可用重构带宽,在所述若干数据节点中选择可用重构带宽满足重构标准的数据节点作为重构节点。
3.根据权利要求2所述的方法,所述元数据节点获取各个数据节点的可用重构带宽,包括:
所述元数据节点获取各个数据节点分别对应的预留的静态重构带宽、以及剩余的重构任务数量;
对于任一数据节点,所述元数据节点根据该数据节点的静态重构带宽和重构任务数量得到该数据节点的可用重构带宽。
4.根据权利要求2所述的方法,所述元数据节点获取各个数据节点的可用重构带宽,包括:
所述元数据节点获取各个数据节点的动态可用带宽,将每个数据节点的动态可用带宽作为该数据节点的可用重构带宽。
5.根据权利要求2所述的方法,所述元数据节点根据所述各个数据节点的可用重构带宽,在所述若干数据节点中选择可用重构带宽满足重构标准的数据节点作为重构节点,包括:
所述元数据节点根据各个数据节点的可用重构带宽,在所述若干数据节点中的源节点和所述存储节点中,选择可用重构带宽满足重构标准的数据节点作为重构节点,所述源节点是目标数据片对应的EC校验组所位于的其他未故障的数据节点。
6.根据权利要求1所述的方法,所述重构节点将重构后的目标数据片发送至所述存储节点,包括:
重构节点在所述目标数据片重构完成后,执行下一个数据片的重构任务之前,将重构后的目标数据片发送至所述存储节点;
所述方法还包括:
在重构节点故障的情况下,元数据节点在所述若干数据节点中选择所述重构节点之外的其他数据节点作为新重构节点,以由所述新重构节点继续执行故障的所述重构节点未完成的数据片重构任务。
7.一种数据重构方法,应用于分布式存储系统中的元数据节点,所述分布式存储系统包括一个元数据节点和若干数据节点;
所述方法包括:
根据存储目标数据片对应的EC校验组的故障域,选择存储节点;所述目标数据片是待重构的数据片,所述存储节点不属于:除存储目标数据片的故障域之外,其他存储所述EC校验组的故障域;
在所述若干数据节点中选择重构节点,以使所述重构节点获取所述目标数据片对应的EC校验组的其他数据片和校验片,并根据获取的所述其他数据片和校验片重构所述目标数据片,并将重构后的目标数据片发送至所述存储节点,所述存储节点存储所述重构后的目标数据片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210303513.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置