[发明专利]一种基于数据块访问频度的局部修复方法在审
申请号: | 202011418695.7 | 申请日: | 2020-12-07 |
公开(公告)号: | CN112463435A | 公开(公告)日: | 2021-03-09 |
发明(设计)人: | 韩国军;陈凌鹏;钟露;方毅 | 申请(专利权)人: | 广东工业大学 |
主分类号: | G06F11/10 | 分类号: | G06F11/10;H03M13/37 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 张金福 |
地址: | 510090 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 数据 访问 频度 局部 修复 方法 | ||
1.一种基于数据块访问频度的局部修复方法,其特征在于,包括以下步骤:
S1:基于局部修复编码对数据文件进行分块和编码,得到若干数据块;
S2:记录各个数据块的访问频度并设定阈值;
S3:对访问频度超过阈值的数据块生成局部校验块;
S4:当数据块失效时,判断失效数据块的访问频度是否超过阈值;
若失效数据块的访问频度超过阈值,则采用其生成的局部校验块进行局部修复;
若失效数据块的访问频度不超过阈值,则以失效数据块所在的存储节点为根节点构建修复二叉树,根据修复二叉树进行数据传输,实现局部修复。
2.根据权利要求1所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S1中,利用机架感知技术根据设定的局部修复编码的参数将数据块随机分发到不同机架的不同存储节点内。
3.根据权利要求2所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S1中,还包括形成数据块状态表;
数据块状态表包括以下数据项:数据块ID、数据文件名、存储节点ID、机架ID和数据块状态。
4.根据权利要求3所述的一种基于数据块访问频度的局部修复方法,其特征在于,数据块状态包括热、正常和冷三种状态。
5.根据权利要求1所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S2中,以单位小时内数据块的访问量来度量数据块的访问频度。
6.根据权利要求5所述的一种基于数据块访问频度的局部修复方法,其特征在于,将单位小时内访问量大于100次的数据块定义为热状态数据块;将单位小时内访问量小于30次的数据块定义为冷状态数据块;将其余数据块定义为正常状态数据块。
7.根据权利要求6所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S2中,设定的阈值为:数据块的访问频度为单位小时内访问量达到100次。
8.根据权利要求1所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S3中,通过将访问频度超过阈值的数据块与同一节点内访问频度不超过阈值的数据块进行异或运算,生成局部校验块。
9.根据权利要求8所述的一种基于数据块访问频度的局部修复方法,其特征在于,局部校验块与其对应的访问频度超过阈值的数据块保存在同一节点的不同磁盘内。
10.根据权利要求2所述的一种基于数据块访问频度的局部修复方法,其特征在于,在步骤S4中,将与失效数据块在同一机架且访问频度最高的若干数据块作为修复二叉树的叶子节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东工业大学,未经广东工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011418695.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多辅助域信息融合跨域推荐方法与系统
- 下一篇:制冷设备及其照明系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置