[发明专利]数据验证方法和分布式存储系统

说明书

本申请提供一种数据验证方法和分布式存储系统，数据验证方法包括：分布式存储系统中的第一节点采用第一预设验证算法对第一数据块进行计算，得到第一节点的第一存储证明，第一数据块为经过纠删码处理并存储于第一节点中的数据块；分布式存储系统中的第二节点接收第一存储证明；第二节点采用第二预设验证算法解析第一存储证明，得到第一解析结果，第二预设验证算法能够验证采用第一预设验证算法计算的数据是否正确；第二节点根据第一解析结果确定第一节点存储的第一数据块是否正确。避免通过更多节点使用高冗余度的编码进行各节点存储的数据块的验证，使得分布式存储系统中低成本低性能的边缘设备也能够采用纠删码确保数据存储的可靠性。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据验证方法和分布式存储系统。

背景技术

在现今的大数据时代，为了提升数据的读写性能，分布式存储应运而生。所谓分布式存储，就是将数据分成多个数据块，并将不同的数据块存储在不同的物理设备上。通过多个物理设备的并行读写，从而提升数据的读写性能。

一般来说，参与的物理设备越多，数据损坏的风险就越高。为了确保数据分布式存储的可靠性，现有的，可以通过分布式文件系统(HadoopDistributed File System，HDFS)使用纠删码对每个数据块进行编码，进而将编码后的数据块存储在分布式存储系统相应的节点。这样，读取数据时，就可以利用纠删码验证数据的正确性。进而当发现数据错误时，就可以利用纠删码对数据进行恢复。

但是，在高可靠性要求的部署环境中，往往需要更多的节点使用更高冗余度的编码，才能够避免多节点失效而导致数据可靠性低的问题。更高的冗余度带来的就是更高的计算成本、延迟、存储容量以及网络带宽的浪费。这对于低成本低性能的边缘设备，显然不适用。

发明内容

本申请实施例的目的是提供一种数据验证方法和分布式存储系统，使得边缘设备也能够通过纠删码提高数据分布式存储的可靠性。

为解决上述技术问题，本申请实施例提供如下技术方案：

本申请第一方面提供一种数据验证方法，所述方法包括：分布式存储系统中的第一节点采用第一预设验证算法对第一数据块进行计算，得到所述第一节点的第一存储证明，所述第一数据块为经过纠删码处理并存储于所述第一节点中的数据块；分布式存储系统中的第二节点接收所述第一存储证明；所述第二节点采用第二预设验证算法解析所述第一存储证明，得到第一解析结果，所述第二预设验证算法能够验证采用所述第一预设验证算法计算的数据是否正确；所述第二节点根据所述第一解析结果确定所述第一节点存储的所述第一数据块是否正确。

本申请第二方面提供一种分布式存储系统，所述系统包括：第一节点，用于采用第一预设验证算法对第一数据块进行计算，得到所述第一节点的第一存储证明，所述第一数据块为经过纠删码处理并存储于所述第一节点中的数据块；第二节点，用于接收所述第一存储证明；采用第二预设验证算法解析所述第一存储证明，得到第一解析结果，所述第二预设验证算法能够验证采用所述第一预设验证算法计算的数据是否正确；根据所述第一解析结果确定所述第一节点存储的所述第一数据块是否正确。