[发明专利]重复数据删除方法和设备

权利要求书

1.一种用于重复数据删除的方法，包括：

在多个逻辑通道的每个逻辑通道中使用不同标准对于当前数据对象进行数据块划分；

分别在所述每个逻辑通道中，基于在该逻辑通道中对所述当前数据对象划分的数据块，寻找所述当前数据对象的一个或多个第一冗余数据块；以及

基于找到的所述当前数据对象的全部第一冗余数据块，对所述当前数据对象进行重复数据删除。

2.根据权利要求1所述的方法，其中在多个逻辑通道中使用不同标准对于当前数据对象进行数据块划分包括以下至少之一项：

在各个逻辑通道中使用不同的指纹掩码对于所述当前数据对象利用指纹算法进行数据块划分；

在各个逻辑通道中使用不同的数据块长度对于所述当前数据对象利用定长算法进行数据块划分；

在各个逻辑通道中使用不同的划分算法对于所述当前数据对象进行数据块划分。

3.根据权利要求1所述的方法，其中分别在所述多个逻辑通道的每个逻辑通道中寻找所述当前数据对象的第一冗余数据块包括：

在每个逻辑通道中，基于在该逻辑通道中使用的标准对于之前数据对象划分的数据块以及在该逻辑通道中使用该标准对于所述当前数据对象划分的数据块，寻找所述当前数据对象的第一冗余数据块。

4.根据权利要求1所述的方法，其中对所述当前数据对象进行重复数据删除包括：

基于在所述多个逻辑通道的各个逻辑通道中找到的所述第一冗余数据块的偏移和长度，消除两个或更多第一冗余数据块之间存在的重叠部分；

通过删除第二冗余数据块对所述当前数据对象进行重复数据删除，其中所述第二冗余数据块包括消除重叠部分后的第一冗余数据块。

5.根据权利要求4所述的方法，其中消除两个或更多第一冗余数据块之间存在的重叠部分包括：

按照所述第一冗余数据块的偏移对所述第一冗余数据块进行排序；

基于排序后的所述第一冗余数据块，根据所述第一冗余数据块的长度，合并存在重叠部分的两个或更多第一冗余数据块，以确定所述当前数据对象的第二冗余数据块。

6.根据权利要求5所述的方法，还包括：

根据为所述第二冗余数据块存储的链接，来恢复所述当前数据对象。

7.一种重复数据删除系统，包括：

数据块划分单元，被配置用于在多个逻辑通道的每个逻辑通道中使用不同标准对于当前数据对象进行数据块划分；

第一冗余数据块确定单元，被配置用于分别在所述每个逻辑通道中，基于在该逻辑通道中对所述当前数据对象划分的数据块，寻找所述当前数据对象的一个或多个第一冗余数据块；以及

重复数据删除单元，被配置为基于所述第一冗余数据块确定单元所找到的全部第一冗余数据块，对所述当前数据对象进行重复数据删除。

8.根据权利要求7所述的系统，其中所述数据块划分单元被配置为执行以下至少一项：

在各个逻辑通道中使用不同的指纹掩码对于所述当前数据对象进行数据块划分；

在各个逻辑通道中使用不同的数据块长度对于所述当前数据对象进行数据块划分；

在各个逻辑通道中使用不同的划分算法对于所述当前数据对象进行数据块划分。

9.根据权利要求7所述的系统，其中第一冗余数据块确定单元被配置为：

在每个逻辑通道中，基于在该逻辑通道中使用的标准对于之前数据对象划分的数据块以及在该逻辑通道中使用该标准对于所述当前数据对象划分的数据块，寻找所述当前数据对象的第一冗余数据块。

10.根据权利要求7所述的系统，其中所述重复数据删除单元还包括：

重叠部分消除单元，被配置为基于在所述多个逻辑通道的各个逻辑通道中找到的所述第一冗余数据块的偏移和长度，消除两个或更多第一冗余数据块之间存在的重叠部分，

其中所述重复数据删除单元被配置为通过删除第二冗余数据块对所述当前数据对象进行重复数据删除，其中所述第二冗余数据块包括消除重叠部分后的第一冗余数据块。