[发明专利]平方部分重复码构造方法、节点修复方法及容量计算方法

说明书

本发明公开了一种平方部分重复码构造方法，包括对原数据文件进行MDS编码，得到若干个编码块；处理得到的编码块，并将其划分成不同的集合；按照设定参数，对存储系统进行划分，得到若干个存储节点集群；将不同的编码块存储到存储节点集群中，构造出平方部分重复码。本发明还公开了一种基于所述的平方部分重复码构造方法的节点修复方法及容量计算方法。本发明方法构造简单、节点修复开销小并且修复局部度较小。

技术领域

本发明具体涉及一种平方部分重复码构造方法、节点修复方法及容量计算方法。

背景技术

随着计算机技术的飞速发展和网络应用的不断普及，网络信息量呈现出爆炸性的增长。在当今大数据时代，日益增长的海量数据对存储系统提出了严峻的挑战。传统集中式的文件系统已经无法满足大数据的存储和处理需求，因此建立支持海量数据存储的新型文件系统已经成了大数据领域的一个重要研究课题。近年来，云计算技术的不断发展使得分布式存储技术成为一种有效的海量数据存储解决方案。分布式存储系统采用云计算的理念，通过集群网格技术和分布式文件系统等功能，将分布在不同区域的独立存储设备通过网络联合起来进行协同工作，共同对用户提供数据存储和访问功能。

实际的大规模分布式文件系统通常采用廉价的商业计算机或者存储硬盘作为存储节点，存储开销较低且具有良好的扩展性。然而，不断扩大的系统规模增加了系统故障发生的概率，如节点离线、突发断电等，使得存储系统可靠性面临严峻的考验。为了保证数据的可靠性，大规模文件系统需要引入数据冗余机制。传统的基于数据拷贝的方案简单易于管理，并且支持高效的数据恢复。但是，传统的数据备份机制的缺点在于存储开销大、存储效率低，特别是在存储大数据文件的时候，副本引起的开销是不可忽略的。

研究表明，在相同冗余信息的情况下，纠删码技术可以大幅地提高系统的存储效率。在当前基于纠删码的分布式存储系统中，编码方案通常采用MDS (Maximum DistanceSeparable)码。具体来说，一个参数为(n, k)的MDS码将大小为M的原数据文件均分成k个大小相等的数据块，通过编码生成n个大小相等的编码块，并分别存储在n个不同节点上，其中系统中任意k个节点存储的数据就可重构出原始文件。如图1 MDS码的编解码方式示意图所示，这一过程称为数据重构过程，该数据重构特性称为MDS属性。MDS编码技术能够在保证系统容错性的情况下降低存储开销，因此适合大文件存储和档案数据备份应用。特别地，RS(Reed-Solomon)码是一种典型的满足MDS特性的码字。

当存储系统中出现节点失效时，为了保持存储系统的完整性，需要恢复该失效节点存储的数据并存储到替换节点中，该过程称为节点修复过程。对传统的MDS码，其修复过程首先需要从k个存储节点下载数据并重构出原文件，重新编码出丢失的数据并存储到新引入的节点上，如图2 MDS码的节点修复方式示意图所示。但是，为了恢复一个节点丢失的数据而解码出整个原文件，对网络带宽来说是一种巨大的浪费。

为了降低节点修复过程中的带宽消耗，文献[A. G. Dimakis, P. B. Godfrey,Y. Wu, M. Wainwright, and K. Ramchandran, “Network coding for distributedstorage systems,” IEEE Trans. Inf. Theory, vol. 56, no. 9, pp. 4539-4551,Sep. 2010]利用网络编码的思想提出了再生码(Regenerating Codes)的概念。再生码同样满足MDS属性，即系统n个节点中的任意k个节点存储的数据可以重构出原数据文件。传统的再生码修复过程中，替换节点需要在剩下的n-1个可用存储节点中随机连接d个并分别从这d个存储节点下载大小为β的数据，所以其修复带宽为dβ。再生码的节点修复过程中下载的数据量小于原文件的大小，因此修复带宽优于RS码。此外，Dimakis等人给出了再生码的功能修复模型并给出了两类最优码字：最小存储再生(MSR，Minimum-Storage Regenerating)码和最小带宽再生(MBR，Minimum-Bandwidth Regenerating)码。