[发明专利]一种基于数据块访问频度的局部修复方法

说明书

本发明提供一种基于数据块访问频度的局部修复方法，包括以下步骤：S1：基于局部修复编码对数据文件进行分块和编码，得到若干数据块；S2：记录各个数据块的访问频度并设定阈值；S3：对访问频度超过阈值的数据块生成局部校验块；S4：当数据块失效时，判断失效数据块的访问频度是否超过阈值；若失效数据块的访问频度超过阈值，则采用其生成的局部校验块进行局部修复；若失效数据块的访问频度不超过阈值，则以失效数据块所在的存储节点为根节点构建修复二叉树，根据修复二叉树进行数据传输，实现局部修复。本发明提供一种基于数据块访问频度的局部修复方法，解决了目前随着存储规模的不断增大，局部修复编码在数据修复操作中耗时较长的问题。

技术领域

本发明涉及存储数据修复技术领域，更具体的，涉及一种基于数据块访问频度的局部修复方法。

背景技术

局部修复编码(LRC,locally repairable codes)是一种纠删码，能够实现存储高可用性。LRC编码不仅生成一些全局的校验块来提供可靠性，它还将数据块进行分组，并在每个组内生成一个局部的校验块，最终由数据块、对应的全局校验块和局部校验块共同构成一个条带。在降级读操作和数据修复操作中，会优先使用被修复数据块所在分组内的数据块和局部校验块完成修复操作，因此，局部修复编码能够有效提升系统的降级读性能和数据修复性能，进而能够在一定程度上提升存储系统的可靠性。

但是，随着存储规模的不断增大，分组规模也较大，局部修复编码在数据修复操作中仍需要读取较多的数据块/校验块，因而耗时较长，又由于在恢复过程中存储系统出错的概率较大，较长的操作时长会影响存储系统整体的可靠性。

现有技术中，如2020年9月11日授权公告的中国专利，分布式存储系统中类局部重构码编码及节点故障修复方法，公告号为CN108347306B，在单节点故障时只需连接较少的节点实现快速恢复，保证了数据文件的快速高效恢复，降低了修复带宽开销，但没有解决随着存储规模的不断增大，局部修复编码在降级读操作和数据修复操作中耗时较长的问题。

发明内容

本发明为克服目前随着存储规模的不断增大，局部修复编码在数据修复操作中耗时较长的技术缺陷，提供一种基于数据块访问频度的局部修复方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于数据块访问频度的局部修复方法，包括以下步骤：

S1：基于局部修复编码对数据文件进行分块和编码，得到若干数据块；

S2：记录各个数据块的访问频度并设定阈值；

S3：对访问频度超过阈值的数据块生成局部校验块；

S4：当数据块失效时，判断失效数据块的访问频度是否超过阈值；

若失效数据块的访问频度超过阈值，则采用其生成的局部校验块进行局部修复；

若失效数据块的访问频度不超过阈值，则以失效数据块所在的存储节点为根节点构建修复二叉树，根据修复二叉树进行数据传输，实现局部修复。

上述方案中，根据数据块的访问频度执行不同的局部修复方案，有效利用数据块访问频度的差异，对于访问频度超过阈值的数据块直接采用其生成的局部校验块进行局部修复，缩短局部修复所需的时间，有效提升基于局部修复编码的存储系统的可靠性。

优选的，在步骤S1中，利用机架感知技术根据设定的局部修复编码的参数将数据块随机分发到不同机架的不同存储节点内。

优选的，在步骤S1中，还包括形成数据块状态表；

数据块状态表包括以下数据项：数据块ID、数据文件名、存储节点ID、机架ID和数据块状态。

优选的，数据块状态包括热、正常和冷三种状态。