[发明专利]一种数据存储纠删方法、装置、设备及可读存储介质

说明书

本发明公开了一种数据存储纠删方法，包括：将每个磁盘中的数据集划分为两个数据块；从部分磁盘中选取各第一数据块，从剩余磁盘中选取各第二数据块，构建第一纠删范德蒙矩阵；对预设行数除以三向下取整得第二数值；利用预设行数减二倍的第二数值得第三数值；利用各剩余数据块构建第二纠删范德蒙矩阵中除单位阵外的前第三数值行；从各一轮选取数据块中选取部分数据块，利用各剩余数据块和各二轮选取数据块构建接下来共第二数值行；利用各剩余数据块和各一轮选取数据块中各剩余数据块构建剩余行；利用第一纠删范德蒙矩阵和/或第二纠删范德蒙矩阵进行数据纠删。本发明提高了数据纠删效率。本发明还公开一种装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及存储技术领域，特别是涉及一种数据存储纠删方法、装置、设备及计算机可读存储介质。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉，可扩展性好等优势逐渐取代了统一存储的主导地位。分布式存储系统多以成本相对较低的磁盘作为存储节点，存储节点的可靠性不高，并且一个分布式存储系统通常包含很多的节点，由于软硬件故障，人为失误等原因，系统常常发生节点失效的情况。为了提高分布式存储系统的数据可靠性，保证数据收集节点能以较高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。

纠删码(Erasure Code)属于编码理论中的一种前向纠错技术，由于纠删码技术在防止数据丢失取得了较好的效果，因此被引入存储领域。纠删码的种类众多，在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code)。RS码与两个参数k和r相关。给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵或柯西矩阵进行编码的方式就称为利用范德蒙矩阵编码的RS纠删码。可知纠删码的核心概念是构建一个可逆的编码矩阵用以产生校验数据，其逆矩阵可经过计算恢复原始数据。

常见的RS纠删码逆矩阵的计算采用的是高斯消元法，这种通用解法适用于任何可逆矩阵的求逆，虽然计算规律化，却会引入大量冗余运算。在数据纠删过程需要对磁盘中未被破坏的数据进行整体调用，需调用的数据量大，数据调用耗时长，数据纠删效率低。

综上所述，如何有效地解决现有的数据存储纠删方法需调用的数据量大，数据调用耗时长，数据纠删效率低等问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种数据存储纠删方法，该方法较大地降低了数据纠删时的数据调用量，减少了数据调用耗时，提高了数据纠删效率；本发明的另一目的是提供一种数据存储纠删装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种数据存储纠删方法，包括：

将每个磁盘中的数据集划分为两个数据块，得到各第一数据块和各第二数据块；

从第一数值个磁盘中选取各所述第一数据块，从剩余的各所述磁盘中选取各所述第二数据块，得到各一轮选取数据块，并根据磁盘总数和各所述一轮选取数据块构建第一纠删范德蒙矩阵；

获取预设矩阵行数，对所述预设矩阵行数除以三向下取整得到第二数值，利用所述预设矩阵行数与二倍的所述第二数值进行差值计算，得到第三数值；

利用各所述磁盘中除各所述一轮选取数据块之外的各剩余第一数据块和各剩余第二数据块，构建第二纠删范德蒙矩阵中原有范德蒙矩阵的第一行至第所述第三数值行；

对各所述一轮选取数据块进行二轮选取，得到各二轮选取数据块，利用各所述剩余第一数据块、各所述剩余第二数据块和各所述二轮选取数据块构建所述第二纠删范德蒙矩阵中原有范德蒙矩阵的第所述第三数值行的下一行至第四数值行；其中，所述第四数值为所述第三数值与所述第二数值的加和；