[发明专利]大规模分布式文件系统数据修复方法及设备

权利要求书

1.一种大规模分布式文件系统数据修复方法，其中，该方法包括：

根据数据块管理模块视角的损坏的数据块及其最长可修复长度，和文件系统命名空间管理模块视角的损坏的数据块，确定损坏文件中实际损坏的数据块及其最长可修复长度；最大可修复长度为：数据块出错后，其数据可以修复的最大长度；

根据损坏文件中实际损坏的数据块及其最长可修复长度，对该损坏文件进行数据修复；

其中，确定损坏文件中实际损坏的数据块及其最长可修复长度，包括：

根据所述文件系统命名空间管理模块视角的损坏的数据块，过滤数据块管理模块视角的损坏的数据块中实际未损坏的数据块，并将未过滤掉的实际上损坏的数据块按照所在文件聚合，得到损坏文件中实际损坏的数据块及其最长可修复长度。

2.根据权利要求1所述的方法，其中，所述数据块管理模块视角的损坏的数据块及其最长可修复长度的获取，包括：

根据数据块管理模块上预设时间段内的操作日志，获取数据块管理模块该时间段内更新过的数据块；

校验更新过的数据块内的各个数据片，如果某个数据块内至少有一个数据片校验不通过，则将该数据片所在的数据块确定为损坏的数据块，确定损坏的数据块的最长可恢复长度，并在对应的数据块管理模块上将该数据块标记为损坏的数据块。

3.根据权利要求2所述的方法，其中，校验更新过的数据块内的各个数据片，如果某个数据块内至少有一个数据片校验不通过，则将该数据片所在的数据块确定为损坏的数据块，确定损坏的数据块的最长可恢复长度，包括：

从数据块管理模块获取更新过的数据块的长度；

根据所述长度及数据片的规定长度，确定满足规定长度的数据片；

对满足规定长度的数据片计算新的校验和，并将所述新的校验和与之前存储该数据片的校验和作比较，如果不匹配，标记该损坏的数据片所在的数据块为损坏的数据块，该损坏的数据块的最大可修复长度＝至第一个不匹配的数据片之前的位置。

4.根据权利要求3所述的方法，其中，该损坏的数据块的最大可修复长度＝至第一个不匹配的数据片之前的位置的步骤之后还包括：

扫描该损坏的数据块对应的日志，如果存在一条日志，其记录的数据偏移量在该数据块的所述第一个不匹配的数据片的规定长度的区间之内，则读取从所述第一个不匹配的数据片的开始位置至所述偏移量结束位置的对应的数据，计算校验和，并与日志中记录的校验和作比较，如果一致，则更新该损坏的数据块的最大可修复长度＝偏移量处的位置。

5.根据权利要求2所述的方法，其中，所述预设时间段内的操作日志的获取，包括：

在日志目录中查找是否有所述预设时间段内的快照，

若有，将所述快照转化为对应的日志，并从日志目录中读取在所述预设时间段内且在所述快照之后的日志，并将所述快照转化得到的日志和所述快照之后的日志作为所述预设时间段内的操作日志；

若无，在日志目录中读取所述预设时间段内的操作日志。

6.根据权利要求2所述的方法，其中，所述文件系统命名空间管理模块视角的损坏的数据块的获取，包括：

根据所述数据块管理模块上标记为损坏的数据块，获取所述文件系统命名空间管理模块视角的损坏的数据块。

7.根据权利要求1所述的方法，其中，根据损坏文件中实际损坏的数据块及其最长可修复长度，对该损坏文件进行数据修复，包括：

获取损坏文件的全集群视角的数据块元信息，其中，所述全集群视角的数据块元信息由文件系统命名空间管理模块视角的损坏文件数据块的存储位置，与该损坏文件中实际损坏的数据块的存储位置和最长可修复长度合并得到；

根据损坏文件的全集群视角的数据块元信息，对该损坏文件进行数据修复。

8.根据权利要求7所述的方法，其中，根据损坏文件的全集群视角的数据块元信息，对该损坏文件进行数据修复，包括：

根据损坏文件的文件类型和全集群视角的数据块元信息，计算损坏文件的最长可修复长度；

根据损坏文件的最长可修复长度，对该损坏文件进行数据修复。