[发明专利]分布式存储系统的数据修复方法及存储介质

说明书

一种分布式存储系统的数据修复方法，即一种用于分布式存储系统有节点失效时，以最小可行带宽同时恢复多个故障节点的方法。通过选择辅助节点并用选中的辅助节点计算得到辅助数据子块，然后计算修复矩阵(106)并最终通过修复矩阵与辅助数据子块相乘重建丢失的数据块(107)，或者通过解码的方法重建丢失的数据块的方法。本方法适用于任何数量的失效节点和任意编码参数情况下的数据修复，修复方法达到最小修复带宽的理论下限，灵活性高且易于实现。

技术领域

本发明涉及分布式存储领域，具体涉及用于乘积矩阵最小存储再生码的数据修复方法。

背景技术

近年来随着互联网，大数据和云计算等新兴技术的飞速发展，对海量数据存储的需求也激增，使得分布式数据存储系统日益成为存储技术的主流。相比于单节点存储系统，分布式存储系统具有更高的可靠性、可用性和可扩展性。在分布式存储系统中，可能会有一个或若干个节点发生故障。在这种情况下，可以通过副本或纠删码等冗余技术来保证整个系统的服务不被中断。相比于简单的复制数据，纠删码的空间利用率相对较高，因此在业界被广泛使用。例如微软的Azure和OceanStore等分布式存储系统均采用了纠删码。而纠删码中的最大距离可分码(Maximum Distance Separable，MDS)由于能够最大化空间利用率，尤其为业界所重视。

当有节点发生故障时，分布式存储系统应当及时恢复出丢失的数据，以保持系统的冗余度，并避免长时间的“降阶读取”，即通过读取多个非原始的数据片段然后通过某种方法计算出所需的数据。这一过程通常通过替换或修复失效的节点，并在新节点上执行数据恢复操作来完成。由于一开始这些新节点对丢失的数据内容一无所知，它们需要从其他的未发生故障的节点处获得“辅助数据”(Helper Data)，而这些提供辅助数据的节点被称为“辅助节点”(Assistant Node)。在一个比较繁忙的存储系统中，包括传输辅助数据在内的数据修复所需的带宽，简称“修复带宽”，其对整个系统的性能有至关重要的影响。因此，使修复带宽最小化是分布式存储系统设计优化的必要考量。基于网络编码思想的再生码恰好能够达到这一目标。其中，最小存储再生码(Minimum Storage Regenerating Code，MSR)作为一类在最小化修复带宽的同时，还能最大化空间利用率的再生码，具有十分重要的价值。

采用乘积矩阵(Product Matrix，PM)的MSR码构造简单巧妙，是一种重要的最小存储再生码。遗憾的是，原始的PM MSR码仅给出了单节点失效情况下的修复方法。而在实际工程中，经常会有多个节点同时失效的情况出现。针对这种情况，一种解决办法是像处理单节点失效那样，一个节点接一个节点地修复，这个方法虽然简单直接，但是会浪费带宽。另一种思路是，对多个失效节点进行联合修复，从而使整体所需的带宽最小化。该思路的另一个好处是，不必在节点失效时马上进行修复，可以等失效节点的数量达到某一个阈值，或者降阶读取持续了某一特定时间后再启动修复，这样可以进一步降低修复的开销。

一些现有的研究对这个问题进行了多方面的考虑，提出了一种采用“虚拟符号”的方法，能够同时修复多个失效节点，还证明了同时修复所需的最小带宽的下限。但是这种方法通常需要对复杂的方程组进行求解，运算开销巨大且难以实施。还有的研究人员提出了由代理协助的最小存储再生码，使用这种码进行修复时，辅助节点传输辅助数据之前无需对数据进行编码。但是这种码只能处理有1或2个失效节点的情形。针对任意失效节点数目和任意编码参数的联合修复方案仍未被提出。

另一类多数据块同时修复方法采用了节点间协作的策略。这类方法首先让新节点从正常节点下载辅助数据，然后在新节点之间交换数据。通过巧妙地设计编码的结构，可以减小修复带宽，甚至达到理论的下限。尽管这类方法从理论上可以使修复带宽最小化，实际应用却面临很大难度。这种“先下载-再交换”的方式增加了修复所需的时间和各种开销，需要复杂的协议来控制且容易出错。