[发明专利]一种数据重建方法、系统、装置及计算机可读存储介质

说明书

本申请公开了一种数据重建方法，应用在新GlusterFS中，任务中心通过心跳连接确定出故障磁盘，再根据该故障磁盘的文件分布信息确定出待重建文件列表，并将包含待重建文件列表和计算出的目标替换磁盘的数据重建任务下发给文件系统，文件系统将为其创建一个数据重建协程，并在确定出存在有可用的数据重建源后将数据重建源复制至目标替换磁盘上，并在复制完成后上报重建完成信号，以使副本组管理模块根据该重建完成信号修改重建文件的路由信息。为新GlusterFS提供了一种真正的数据重建方法，拓展了该新GlusterFS的功能和适用场景。本申请还同时公开了一种数据重建系统、装置及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及GlusterFS应用技术领域，特别涉及一种应用在新GlusterFS下的数据重建方法、系统、装置及计算机可读存储介质。

背景技术

为了适应信息化时代成爆炸式增长的数据量，分布式存储系统以其易拓展、更适合存储海量数据的特性替代了原先使用的中心化存储系统，其中，GlusterFS作为一种开源的分布式存储系统已被广泛使用在各个领域。

原生版GlusterFS中，采用了元数据和实际数据不分离的存储方式，并基于固定的拓扑结构使得在进行数据迁移时只能以副本组为最小迁移单位，在将存储于原副本组中的文件副本转移至组成方式的新副本组中，换句话说，当使用原生版GlusterFS对数据以多副本的方式进行高冗余度保存时，每个副本组必须均以相同个数的副本组成，在副本数为3的副本组中，每个副本组由3个副本组成，而为了防止因单节点故障导致一次性多个副本不可用的情况出现，每个副本通常置于不同的物理磁盘上。也就是说每个副本组由3个副本磁盘组成，当副本组A因全局系统进行数据分布感知确定其需要进行迁移时，其目的副本组B必须也是一个3副本的副本组，即实现一个3对3的数据迁移。

但在多数实际情况下，并不会出现组成一个副本组中的所有副本磁盘均出现已存储数据大小占总大小超过阈值的情况，也就是在原生版GlusterFS中，受限于其结构，大多数进行数据迁移的情况往往是由于其中的1个出现此种情况就对整个副本组的文件副本进行搬迁，不仅使得搬迁数据量巨大，传输时间较长，迁移效率低下。

本申请应用的新GlusterFS是一种区别于原生版GlusterFS的GlusterFS，其采用了区别于原生版GlusterFS的新架构，使得其在实际数据与元数据分离的情况下，借助由虚拟化技术虚拟出的虚拟节点直接实现对每个副本磁盘的管理，副本组如何组成、由哪几个副本磁盘组成均是在逻辑层面进行的设置，不再存在固定的副本组构成方式的限制，也由此实现了可基于副本组为最小迁移单位的数据迁移操作，相较于原生版GlusterFS，拥有更灵活的文件副本管理方式、副本组构成方式、更少的数据迁移量和更短的迁移耗时。

进一步的，原生版GlusterFS受限于上述给出的固定架构，并没有提供当某个文件副本所在磁盘损坏时进行数据重建的方法，因为相比从正常单容量超阈值的磁盘转移部分文件部分至另一正常磁盘的数据迁移场景，数据重建则建立在某一数据磁盘故障且不可用的场景下，在原生版GlusterFS固定的副本组构成情况下，存在一个故障磁盘的副本组为了保持要求的数据冗余度，只能将该复制组上的数据全部迁移至不存在故障磁盘的副本组中，但原复制组中将由于该故障磁盘的存在导致剩余的正常数据磁盘也无法使用(故障磁盘的存在导致其不满足数据迁移对目的复制组的要求)，因此原生版GlusterFS中实际并不存在数据重建过程，只能算作变向的数据迁移。

新GlusterFS由于架构上的改变，使得在此架构上实现真正的数据重建成为可能，因此，如何为基于新架构得到的新GlusterFS提供一种可真正实现数据重建的方法，是本领域技术人员亟待解决的问题。

发明内容