[发明专利]大规模分布式文件系统数据修复方法及设备

说明书

本发明的目的是提供一种大规模分布式文件系统数据修复方法及设备，根据每个数据块管理模块视角的损坏的数据块及其最长可修复长度，和所述文件系统命名空间管理模块视角的损坏的数据块能够准确地确定实际损坏的数据块及其最长可修复长度，进而精确确定每个损坏文件中实际损坏的数据块及其最长可修复长度，在供电故障导致的分布式文件系统集群掉电重启进行数据修复的过程中，根据每个损坏文件中实际损坏的数据块及其最长可修复长度，对该损坏文件实现快速和有效数据修复，可以有效增大RPO、缩短RTO，即提高数据修复能力，减少数据修复耗时。

技术领域

本发明涉及计算机领域，尤其涉及一种大规模分布式文件系统数据修复方法及设备。

背景技术

近年来，云计算技术日益普及，云计算产品线日益丰富，带来了巨大的社会价值。云存储产品是云计算产品线中的重要组成部分。各种云存储产品通常采用大规模分布式文件系统作为底层支撑系统来存储用户的数据。

典型分布式文件系统主要包含三个模块，以三种角色部署在由普通商用服务器构成的集群上。分布式文件系统的三个模块是指：

1.Client：客户端库，为用户提供访问分布式文件系统的各种接口；

2.Chunkserver：数据块(Chunk)管理模块，管理分布式文件系统的数据块及相关元数据，执行Master指派的任务；

3.Master：文件系统命名空间管理模块，管理分布式文件系统的元数据，如文件名到数据块元数据的映射等。

典型分布式文件系统的架构如图1所示，图1中，File name表示文件名，chunkindex表示数据块编号，chunk hadle表示数据块的唯一ID,chunk locations表示数据块位置，instructions to chunkserver表示向chunkserver发出的指令，chunkserver state表示向master反馈的指令执行状态，byte range表示用户一次写入的字节范围，是用户视角的内容，不涉及底层数据块的概念。数据块存储时，物理上表现为一个文件；逻辑上会按照固定大小切片计算校验和。

成本、性能等指标是衡量大规模分布式文件系统设计和实现优劣的重要指标，也是决定其所支撑公有云产品市场竞争力的重要因素。

为了降低成本，大规模分布式文件系统通常部署在由普通商用服务器构成的集群上。普通商用服务器通常不配备UPS、RAID卡等高端设备，普遍采用SATA磁盘作为持久存储设备。也就是说，普通商用服务器没有配备后备电源/电池等保护设备，机器断电后易失性存储器中存储的内容会立即丢失。

为了提高系统性能，大规模分布式文件系统在其文件读写路径上采用了多项优化性能的技术，简要介绍以下两种：

1.改进分布式文件系统层写协议。

在分布式文件系统中关于文件的信息分为两部分：元数据信息和数据信息(数据块)。其中元数据信息存储在Master中，数据信息存储在Chunkserver中。为了保证可靠写入，系统首先将数据信息写入Chunkserver中，然后将相关元数据信息写入Master中，并返回用户写入成功。为了减少与Master的交互，系统会向Chunkserver中写入若干次数据信息，并向用户返回写入成功，然后再将元数据信息写入Master。写入一组数据信息后只写入一次元数据信息可以有效降低写延迟，降低Master负载。

2.利用Linux文件系统提供的能力优化写操作性能。