[发明专利]一种纠删处理方法、系统及计算机存储介质

说明书

本发明提供了一种纠删处理方法、系统及计算机存储介质，方法包括异步获取纠删任务所需信息，将所需信息进行同步，所需信息包括数据、配置和矩阵；基于配置中预设的数据位宽，对矩阵的一个字节和数据进行若干次乘法运算；将每次乘法运算的结果进行异或处理，得到纠删的校验块和/或数据块。本发明针对纠删中的处理单元部分，提出了一种硬件电路实现方式，该硬件包含输入、输出控制单元和计算单元。处理单元内针对计算的中间结果提供缓存，在得到最终的结果前，所有的中间结果都在处理单元内部缓存。采用硬件加速的方案来进行纠删的编解码，减小了CPU的开销，同时提供比CPU方案更快的吞吐率。

技术领域

本发明涉及存储技术领域，尤其是一种纠删处理方法、系统及计算机存储介质。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉，可扩展性好等优势逐渐取代了统一存储的主导地位，在理论研究和实际应用方面得到了越来越多的关注。分布式存储系统多以廉价的磁盘作为存储节点，每个存储节点的可靠性往往不会很高，另一方面，一个分布式存储系统通常包含很多的节点，由于软硬件故障，人为失误等原因，系统常常发生节点失效的情况。为了提高分布式存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。同时，为了维持系统的可靠性，需要对失效的节点及时进行修复，因此，设计一个良好的节点修复机制十分重要。纠删码(Erasure Code)属于编码理论中的一种前向纠错技术，最早应用于通信领域以解决数据传输中的丢失与损耗这类问题。由于纠删码技术在防止数据丢失取得了较好的效果，因此被引入存储领域。纠删码可以在保证相同可靠性的前提下有效地降低存储开销，因此纠删码技术被广泛地应用于各大存储系统以及数据中心例如微软的Azure、Facebook的F4等。

纠删码的种类众多，在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code)。RS码与两个参数k和r相关。给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵或柯西矩阵进行编码的方式就称为利用范德蒙矩阵或柯西矩阵编码的RS纠删码，具体编码过程如下所示分别为范德蒙矩阵和柯西矩阵编码的RS纠删码：

上述公式中，k*k矩阵对应的就是k个原始数据块，下部分的r*k矩阵对应的就是编码矩阵，通过与原始数据D1到Dk相乘，得到新添加的P1到Pr就是编码所得到的r个校验数据。当其中任意小于r个数据在传输中出错或丢失，需要纠错时，用剩余数据对应矩阵的逆矩阵与数据相乘(乘法是在GF域的乘法运算，具体不再赘述)，即会得到原始数据块D1到Dk。以D1到Dr数据丢失，进行解码为例，过程如下式所示：

可知纠删码的核心概念是构建一个可逆的编码矩阵用以产生校验数据，其逆矩阵可经过计算恢复原始数据。常见的RS纠删码使用的是上面介绍的柯西矩阵或范德蒙矩阵，这样的优势是所得到的矩阵肯定可逆，其任意子矩阵也都可逆，并且矩阵的大小扩充简单。

上述介绍中的D1到Dk,P1到Pr的数据单位可以是8bit,16bit或者其他数值(这里称之为符号位，称之为symbol)，取决乘法运算的位宽，即伽罗华域运算的有限域定义。对于一个任务，如果块大小为Z bit。对于乘法运算，如果使用8bit的伽罗华域运算，要拆分为(Z/8)个独立的数据和相同矩阵做运算。并将运算结果输出。如下式所示可以求出第1个字节的编码输出，

对第1个字节计算依次类推经过4096次不同数据和同一矩阵计算，可以求出一个块大小为4Kbyte的纠删编码。由此可知，纠删的一个明显特征就是各个数据块、校验块，不同symbol之间是不相关的。