[发明专利]一种基于纠删码集群存储系统的交叉重构方法

说明书

技术领域

本发明属于数据存储领域，更具体地，涉及一种基于纠删码集群存储系统的交叉重构方法。

背景技术

随着计算机技术和网络技术的发展，集群存储系统需要具有高存储利用率和高容错率的容错技术以应对海量数据对集群可靠性提出的挑战。纠删码容错技术在上述两方面具有优势而越来越受到重视。

纠删码容错技术通过纠删码算法将数据进行编码得到少量冗余，再将数据与冗余一起存储。如图1所示，每个节点的磁盘空间被划分成一个个条块。整个集群的磁盘空间由一个个相互独立的条带组成。每个条带将k个数据块通过一定编码算法计算出r个冗余块，将这k+r个条块分布到集群的不同节点。集群可以使用某一条带中的任意k个条块，解码得到该条带内的所有数据块和冗余块。因此该集群存储系统最多可以容忍r个节点失效。

但是纠删码容错技术存在一个缺点，即任意一个节点失效都需要通过网络传输k个存活节点的数据来恢复这个失效节点上的数据，这个过程的网络带宽开销大。特别是随着数据量的爆炸性增长，不断增大的存储规模使得出现失效节点已成为集群存储系统的常态。为了恢复失效节点上的数据并替换失效的节点，纠删码集群存储系统需要让新加入的节点向k个存活的节点获取数据以进行重构，引起网络带宽的大量占用。特别是当集群中有f（f≥2）个节点同时失效时，现有的重构方法或者需要让这f个替换节点各自向k个存活节点获取数据，需要占用f×k倍的网络带宽开销，从而造成重构时间的延长，降低集群的可靠性。所以，多节点同时失效而引起的大量网络带宽开销是纠删码集群存储系统的目前重构方法面临的巨大挑战。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于纠删码集群存储系统的交叉重构方法，旨在解决现有重构方法面对纠删码集群存储系统中出现多个节点同时失效的情况下造成大量网络带宽开销的问题，本发明的方法将需要恢复的数据划分给各个替换节点，每个替换节点只负责一部分条带的恢复，各自重构之后得到的少量数据在两两替换节点之间相互发送和接收，能够降低网络带宽开销和加快重构速度，同时具有高可靠性和高可扩展性。

为实现上述目的，本发明提供了一种基于纠删码集群存储系统的交叉重构方法，包括以下步骤：

（1）纠删码集群存储系统的第i个替换节点RN_i将自身条带号的基准值rowstep初始化为0，其中i=1，…，f，f为系统中失效节点的数量；

（2）替换节点RN_i向集群中任意k个存活节点发出请求，获取这k个存活节点的第rowstep+i个条块，分别记为B₁，…，B_k，其中k为系统中数据节点的数量；

（3）替换节点RN_i使用条块B₁，…，B_k根据下式计算出属于集群的第rowstep+i个条带的f个失效块，分别记为RB_rowstep+i,1，…，RB_rowstep+i,f：

RB_row,j＝DEC_j(B₁，…，B_k)

其中DEC()代表水平编码算法的解码操作，row表示正在处理的是集群中第row个条带的各个条块，j表示通过这次解码操作计算出来的是第j个替换节点上的失效块，且有j=1，…，f；

（4）替换节点RN_i将失效块RB_rowstep+i,i写入本地磁盘，成为本地的第rowstep+i个条块；