[发明专利]一种数据重构方法及装置

说明书

本说明书提供的一种数据重构方法及装置，应用于分布式存储系统，所述分布式存储系统包括一个元数据节点和若干数据节点；述元数据节点根据存储目标数据片对应的纠删码EC校验组的故障域，选择存储节点；所述目标数据片是待重构的数据片，所述存储节点不属于：除存储目标数据片的故障域之外，其他存储所述EC校验组的故障域；所述元数据节点在所述若干数据节点中选择重构节点；所述重构节点获取所述目标数据片对应的EC校验组的其他数据片和校验片，并根据获取的所述其他数据片和校验片重构所述目标数据片；所述重构节点将重构后的目标数据片发送至所述存储节点，所述存储节点存储所述重构后的目标数据片。

技术领域

本说明书一个或多个实施例涉及计算机应用领域，尤其涉及一种数据重构方法及装置。

背景技术

在分布式存储系统中，一般为了保证数据的可靠性，采用纠删码(erasurecoding，EC)校验组的方式来存储数据，即将一段数据分成多片数据片，基于多片数据片生成多片校验片(一段数据对应的多片数据片和多片校验片共同组成了EC校验组)，并将多片数据片和多片校验片分别存储在不同节点设备中，比如一个设备中存储一片数据片或一片校验片。这样即使任一节点设备故障只会导致一片数据片丢失，且在任意1个数据片丢失时，可以通过其他数据片及校验片重构丢失的该片数据。

重构丢失的数据片的过程具体包括，分布式存储系统中的元数据节点(分布式存储系统一般包括一个元数据节点和若干个数据节点)指定一个目标节点作为重构数据片以及存储重构后的数据片的节点，目标节点获取丢失的数据所对应的其他数据片及校验片，并通过获取的数据片及校验片重构得到丢失的数据片，最后目标节点将重构得到的数据片存储至本机中。

分布式存储系统的服务器集群分为多个故障域，为了保证数据的可靠性，通常将一组EC校验组分散存储在多个故障域内。这种情况下，为了防止一个故障域内存储过多数据导致数据不安全，在任一节点设备故障需要并重构一片数据片的情况下，选择的目标节点所在故障域不能为：该EC校验组对应的其他源节点所在的故障域(该EC校验组也就是需要重构的数据片所对应的EC校验组，该EC校验组对应的其他源节点即该EC校验组中，除了需要重构的数据片所在的故障域之外，其他数据片和校验片所在的数据节点)。换言之，目标节点并不能在整个服务器集群内随意挑选，只能在较小的范围内进行挑选，即目标节点的挑选范围受到较大的限制。

由于重构数据本身需要占用大量带宽，在服务器集群故障域数量较少的情况下，上述目标节点的限制会使得目标节点的通信压力较大。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种数据重构方法及装置。

根据本说明书一个或多个实施例的第一方面，提出了一种数据重构方法，应用于分布式存储系统，所述分布式存储系统包括一个元数据节点和若干数据节点；所述方法包括：

所述元数据节点根据存储目标数据片对应的纠删码EC校验组的故障域，选择存储节点；所述目标数据片是待重构的数据片，所述存储节点不属于：除存储目标数据片的故障域之外，其他存储所述EC校验组的故障域；

所述元数据节点在所述若干数据节点中选择重构节点；

所述重构节点获取所述目标数据片对应的EC校验组的其他数据片和校验片，并根据获取的所述其他数据片和校验片重构所述目标数据片；

所述重构节点将重构后的目标数据片发送至所述存储节点，所述存储节点存储所述重构后的目标数据片。

根据本说明书一个或多个实施例的第二方面，提出了一种数据重构方法，应用于分布式存储系统中的元数据节点，所述分布式存储系统包括一个元数据节点和若干数据节点；

所述方法包括：

根据存储目标数据片对应的EC校验组的故障域，选择存储节点；所述目标数据片是待重构的数据片，所述存储节点不属于：除存储目标数据片的故障域之外，其他存储所述EC校验组的故障域；