[发明专利]一种基于纠删码的数据并行重构方法及系统

说明书

本发明公开了一种基于纠删码的数据并行重构方法及系统，该方法包括：基于存活的节点确定待重构数据；基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；将重构完成数据写入新的节点。基于本发明的方案进行重构，可提升数据重构性能。

技术领域

本发明涉及数据重构领域，特别涉及一种基于纠删码的数据并行重构方法及系统。

背景技术

在分布式存储系统中，数据存储的方式有副本与纠删码2种，副本与纠删码都是通过增加冗余数据的方式来保证数据在发生部分丢失时，原始数据不发生丢失。

副本技术因其简单和数据访问带宽较高等优点被广泛应用，但随着数据量不断增长，多副本技术会导致较大的存储开销，且存储利用率低。相比于多副本技术，纠删码技术能够以较低的存储开销获得更高的数据可用性，但在丢失数据后需要重构时，由于纠删码在重构任何一个数据块时，都需要从磁盘上读取多份其他数据和在网络上传输。这导致重构过程性能不佳，并使得系统暴露在不稳定状态。

发明内容

本说明书实施例提供了一种基于纠删码的数据并行重构方法及系统。

一方面，本说明书实施例提供的一种基于纠删码的数据并行重构方法，包括：

基于存活的节点确定待重构数据；

基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；

基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；

将重构完成数据写入新的节点。

另一方面，本说明书实施例提供的一种基于纠删码的数据并行重构系统，包括：

待重构数据确定装置，用于基于存活的节点确定待重构数据；

任务分发器，用于将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；

任务执行器，用于在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；

重构完成数据写入装置，用于将重构完成数据写入新的节点。

由以上本说明书实施例提供的技术方案可见，本发明实施例在进行重构时，设计了多线程、多服务端的并行重构架构，明显提升了重构性能。

附图说明

图1为本说明书一些实施例的基于纠删码的数据并行重构方法的流程图。

图2为本说明书一些实施例的基于纠删码的数据并行重构系统的组成图。

图3为本说明书一些实施例的数据并行重构的细化示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

如图1所示，本说明书一些实施例中提供了一种基于纠删码的数据并行重构方法，包括基于存活的节点确定待重构数据；基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；将重构完成数据写入新的节点。