[发明专利]一种基于纠删码的条带合并方法及系统在审
申请号: | 202110774701.0 | 申请日: | 2021-07-08 |
公开(公告)号: | CN113626250A | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 胡燏翀;姚乔日;程良锋;张亚哲;冯丹 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06F11/10 | 分类号: | G06F11/10 |
代理公司: | 武汉华之喻知识产权代理有限公司 42267 | 代理人: | 邓彦彦;廖盈春 |
地址: | 430074 *** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 纠删码 条带 合并 方法 系统 | ||
1.一种基于纠删码的条带合并方法,其特征在于,包括如下步骤:
S1,对若干个纠删码条带进行预处理,确定每个纠删码条带校验块的存放位置,并构建哈希表;所述哈希表指示各个纠删码条带校验块的位置和各个纠删码条带的编号;
S2,基于所述哈希表确定若干个纠删码条带中与某一个纠删码条带校验块位置全部对齐和部分对齐的纠删码条带的集合,在所述纠删码条带集合中选取与所述某一个纠删码条带合并开销相对较小的纠删码条带,将选取的纠删码条带与所述某一个纠删码条带合并,生成合并后的条带;
S3,在所述若干个纠删码条带中删除选取的纠删码条带和所述某一个纠删码条带,得到更新的若干个纠删码条带;
S4,重复执行步骤S2和步骤S3,当无法选取出可以合并的两个纠删码条带时,执行步骤S5;
S5,在所述步骤S3得到的更新的若干个纠删码条带中,计算任意两个纠删码条带组成的纠删码条带对的合并开销;
S6,在所有纠删码条带对中选取合并开销最低的纠删码条带对,并将选取的纠删码条带对合并,生成合并后的条带;
S7,在所有纠删码条带对中删除与步骤S6选取的纠删码条带对相关的纠删码条带对,得到新的所有纠删码条带对;所述与步骤S6选取的纠删码条带对相关的纠删码条带对指的是含有步骤S6选取的纠删码条带对中之一纠删码条带的纠删码条带对;
S8,重复执行步骤S6和步骤S7,直至步骤S7得到的所有纠删码条带对为空。
2.根据权利要求1所述的条带合并方法,其特征在于,所述步骤S2中,在所述纠删码条带集合中选取与所述某一个纠删码条带合并开销相对较小的纠删码条带,具体为:
当所述纠删码条带集合中包括校验块位置与所述某一个纠删码条带校验块位置全部对齐的纠删码条带时,从对齐的纠删码条带中选取合并开销最小或合并开销小于阈值的一个纠删码条带;
当所述纠删码条带集合中不包括校验块位置与所述某一个纠删码条带校验块位置对齐的纠删码条带时,从部分对齐的纠删码条带中选取合并开销最小或合并开销小于阈值的一个纠删码条带;其中,部分对齐的纠删码条带按照对齐校验块数量从大到小的顺序被选取;所述对齐校验块数量指的是部分对齐的两个纠删码条带中对齐的校验块的数量。
3.根据权利要求1所述的条带合并方法,其特征在于,将两个纠删码条带合并,具体包括如下步骤:
检查纠删码条带各个数据块的位置,如果某个节点中同时存储了两个数据块,则将其中一个数据块迁移到对于当前合并后条带而言的空闲节点;
将具有相同编码系数的所有校验块迁移至同一个节点中;
在存储校验块的节点中如果仍然有数据块,则将该数据块进行迁移;
上述过程中所有迁移的校验块数量和数据块数量总和即为合并开销。
4.根据权利要求2所述的条带合并方法,其特征在于,所述步骤S5-步骤S8的过程称为StripeMerge-G算法,具体步骤包括:
S10,在输入的小条带集合中,计算任意两个小条带的合并开销,并将三元组(c,si,sj)存储在集合中,其中si和sj表示两个不同的小条带,c表示si和sj的合并开销;所述小条带集合指的是纠删码条带的集合,每个纠删码条带对应一个小条带;
S20,对集合中的所有三元组依照c进行升序排序;
S30,取出集合中的第一个三元组(c*,si*,sj*),将si*和sj*合并,并将集合中所有包含si*和sj*的三元组都删除;其中,si*和sj*表示排序后的两个不同的小条带,c*表示si*和sj*的合并开销;
S40,重复步骤S30,直到集合为空。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110774701.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:高强度冷柜
- 下一篇:一种任务分配方法、装置、设备及存储介质