[发明专利]分布式存储系统、数据重构方法、设备及存储介质

说明书

本申请实施例提供一种分布式存储系统、数据重构方法、设备及存储介质。在本申请实施例中，针对分布式存储系统中的数据重构任务，从选择出的用于存储重构数据块的多个数据节点中进一步选择目标数据节点，由该目标数据节点统一针对多个失效数据块执行重构任务，对多个失效数据块进行重构所需的多个有效数据块只需由目标数据节点从其它数据节点读取一次即可，相比于现有技术中每重构一个失效数据块都需要读取一次所需的多个有效数据块的方案，大幅度减少了数据重构所消耗的带宽资源，解决了带宽资源严重浪费的问题。

技术领域

本申请涉及存储技术领域，尤其涉及一种分布式存储系统、数据重构方法、设备及存储介质。

背景技术

纠删码（Eruasure-coding，EC）是一种具有高容错和高存储效率特点的编码技术，被广泛应用于各种分布式存储系统中。在采用纠删码的分布式存储系统中，数据会以EC校验组的方式被写到多个数据存储节点中，当有数据存储节点发生故障时，可以通过其它数据存储节点中存在的数据对该故障节点中的数据进行重构，保障数据的可靠性。

在现有技术中，数据重构任务通常由各个目标数据节点执行，目标数据节点是指被选中用来存放重构数据的其它数据存储节点。对每个目标数据节点而言，在接收到重构命令时，需要从其它数据存储节点中读取重构所需的数据块，基于这些数据块进行数据重构，并将重构出的数据块写入到本地磁盘中。但是，现有重构过程存在带宽资源浪费的问题，尤其是在待重构数据块较多的情况下，带宽资源浪费更为严重。

发明内容

本申请的多个方面提供一种分布式存储系统、数据重构方法、设备及存储介质，以解决现有数据重构存在的带宽资源浪费严重的问题，节约数据重构消耗的带宽资源。

本申请实施例提供一种分布式存储系统，包括：管控节点和多个数据节点，多个数据节点上存储有多个数据块，所述多个数据块来自至少一个纠删码组；管控节点，用于在监测到发生故障的至少一个第一数据节点的情况下，确定至少一个第一数据节点上来自同一纠删码组的多个失效数据块；从其它数据节点中选择用于存储多个失效数据块对应的重构数据块的多个第二数据节点，向多个第二数据节点中的目标数据节点发送数据重构任务，以指示目标数据节点对多个失效数据块进行重构；目标数据节点，用于在接收到数据重构任务的情况下，从其它数据节点获取对多个失效数据块进行重构所需的多个有效数据块，基于多个有效数据块对多个失效数据块进行重构，以得到多个重构数据块，并将多个重构数据块提供给对应的第二数据节点进行存储以完成数据重构任务。

本申请实施例还提供一种数据重构方法，包括：在监测到分布式存储系统中发生故障的至少一个第一数据节点的情况下，确定至少一个第一数据节点上来自同一纠删码组的多个失效数据块；从除至少一个第一数据节点之外的其它数据节点中，选择用于存储多个失效数据块对应的重构数据块的多个第二数据节点；向多个第二数据节点中的目标数据节点发送数据重构任务，以指示目标数据节点对多个失效数据块进行重构并将重构出的数据块提供给对应的第二数据节点进行存储。

本申请实施例还提供另一种数据重构方法，包括：接收数据重构任务，数据重构任务指示对至少一个第一数据节点上来自同一纠删码组的多个失效数据块进行重构，至少一个第一数据节点是分布式存储系统中发生故障的数据节点；从除至少一个第一数据节点之外的其它数据节点，获取对多个失效数据块进行重构所需的多个有效数据块；基于多个有效数据块对多个失效数据块进行重构，以得到多个重构数据块；将多个重构数据块对应提供给多个第二数据节点进行存储以完成数据重构任务，第二数据节点是从其它数据节点选择出的用于存储重构数据块的数据节点。

本申请实施例还提供一种设备节点，包括：存储器和处理器；存储器用于存储计算机程序，处理器与存储器耦合，用于执行计算机程序，以用于实现本申请实施例提供的数据重构方法中的步骤。

本申请实施例还提供另一种设备节点，包括：存储器和处理器；存储器用于存储计算机程序，处理器与存储器耦合，用于执行计算机程序，以用于实现本申请实施例提供的数据重构方法中的步骤。