[发明专利]基于纠删码的磁盘间数据恢复方法及相关装置

说明书

本申请实施例提供一种基于纠删码的磁盘间数据恢复方法及相关装置，本申请中，将数据文件划分为多个分组，每个分组包括多个数据块。为了能够提高数据恢复的效率，准确的识别出哪些数据块需要恢复，哪些数据块无需恢复，本申请实施例中，为不同的数据块增设了用于指示相应数据块是否异常的状态标识，基于状态标识识别出可恢复的数据块进行恢复操作。此外，本申请还能够实现恢复速率控制以避免恢复数据影响正常业务。

技术领域

本申请涉及互联网技术领域，特别涉及一种基于纠删码的磁盘间数据恢复方法及相关装置。

背景技术

在分布式云存储系统中，纠删码冗余技术以较高的容错性能和较大的空间利用率逐步取代副本冗余技术来保证数据的可靠性。为了应对数据异常情况，相关技术大多从以下几方面来优化存储系统，如包括存储节点的选取、异常节点重连复用和数据存储。相关技术中缺少一种有效的磁盘间数据恢复方法。

发明内容

本申请的目的是提供一种基于纠删码的磁盘间数据恢复方法及相关装置用于解决相关技术中缺少一种有效的磁盘间数据恢复方法的问题。

第一方面，本申请提供一种基于纠删码的磁盘间数据恢复方法，数据文件包括多个分组，每个分组包括多个数据块，且各所述数据块关联有用于描述当前状态的状态标识，所述状态标识用于指示所述数据块是否异常，所述方法包括：

基于状态标识，筛选出待恢复数据块；

基于纠删码反变换，对所述待恢复数据块进行恢复处理。

在一些实施例中，所述数据块的状态包括：初始状态、写数据状态、损坏状态、下线状态、正常状态；

所述方法还包括：

响应于创建所述数据块，设置所述数据块的状态标识指示为所述初始状态；

响应于将所述数据块写入磁盘，设置所述数据块的状态标识指示为所述写数据状态；

满足以下任一正常条件，则设置所述数据块的状态标识指示为所述正常状态：处于写数据状态的所述数据块成功写入磁盘、损坏的数据块被成功恢复、下线的数据块重新上线、下线的数据块被成功恢复、处于初始状态的数据块被成功恢复；

响应于所述数据块处于所述正常状态时所述数据块所在的磁盘下线，设置所述数据块的状态标识指示为所述下线状态；

满足以下任一损坏条件，则设置所述数据块的状态标识指示为所述损坏状态：所述数据块未成功写入磁盘、所述数据块在处于写数据状态时所述数据块所在磁盘下线、所述数据块处于所述正常状态时所述数据块损坏。

在一些实施例中，所述基于状态标识，筛选出待恢复数据块之前，所述方法还包括：

将出现异常的数据块的数据块标识添加到异常块集合；

所述基于状态标识，筛选出待恢复数据块，包括：

对所述异常块集合中任一数据块标识对应的异常块，若所述异常块不满足以下任一不可恢复条件，则将所述异常块确定为所述待恢复数据块：

所述异常块的状态标识指示为处于写数据状态；

所述异常块所在的分组中存在至少一个数据块的状态标识指示为写数据状态；

所述异常块所在分组下处于正常状态的数据块个数小于所述n；

工作正常的磁盘个数不足指定数量。

在一些实施例中，所述基于纠删码反变换，对所述待恢复数据块进行恢复处理之前，所述方法还包括：

将所述待恢复数据块添加到待恢复块集合；