[发明专利]一种基于局部性优先的RS纠删码数据布局方法及系统

说明书

本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统，本发明方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块，并将计算所得校验分块分开迁移至未提供待选分块的节点，若计算校验分块的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中，其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于局部性优先的RS纠删码数据布局方法及系统。

背景技术

随着大数据时代的来临，对存储系统的I/O性能、数据容错性、存储安全性等指标提出了更高的要求，分布式存储集群应运而生。为了维持分布式存储集群的可靠性，通常采用冗余机制并配合节点恢复策略使其能在失效时高效修复，相对于三副本冗余机制，纠删编码具有更高的存储效率和可按需定制的容错能力，因此纠删编码逐渐成为了构建分布式存储集群的优选方案。

纠删编码是将数据进行分割，然后对冗余数据分块进行扩展、编码并保存在不同位置，其按照性能一般分为里德-所罗门编码(RS纠删码)，最小密度校验码(LDPC码)，阵列编码(RAID码)。

在相同容量条件下，RS纠删码具有更好的容错能力；LDPC码的性能直逼香农极限容量，具有可并行译码、译码复杂度低以及可检测译码错误等等特征，但其并不能保证100％译码成功，有可能会丢失少量数据，导致无法完整恢复原始信息；RAID码的编解码过程只需要异或运算，软硬件实现简单、廉价，编解码效率高，因此在单容错时具有奇偶校验码的最优复杂度，但其冗余度却不是最优。

目前在客户端随机访问数据的情况下，RS纠删码数据布局的构建过程通常是按照节点位置顺序构造条带，导致节点之间网络开销过大，从而影响分布式存储集群的整体性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于局部性优先的RS纠删码数据布局方法及系统，其目的在于每轮构建一个条带的过程中，均从当前未提供待选分块且包含待选分块最多的节点开始提供构成RS纠删码条带所需的数据分块，使得构建条带的过程中节点之间的网络传输量最少，且实现了同一条带的数据分块和校验分块均匀分布在集群的每个节点中，由此解决现有技术网络开销过大的问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于局部性优先的RS纠删码数据布局方法，该方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带，并将RS纠删码计算校验所得校验分块分别迁移至本轮未提供待选分块的不同节点，若构建条带的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮未提供待选分块的节点中。

进一步地，所述方法包括以下步骤：

(1)解析数据请求：接受并解析读数据请求，获取被请求的数据分块在节点中的分布；

(2)迁移数据分块：选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；

(3)计算校验分块：k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；

(4)构建条带：所述k个待选分块和r个校验分块构成一个条带；

(5)循环构建：判断是否还有待选分块，若有则返回步骤(2)；否则RS纠删码数据布局构建完成。