[发明专利]确定重复数据的方法、设备和计算机程序产品

权利要求书

1.一种确定重复数据的方法，包括：

在第一层比较中，确定输入数据的第一数据部分与来自所述输入数据的多个预定位置的数据相同；

响应于确定所述输入数据的所述第一数据部分与来自所述输入数据的所述多个预定位置的所述数据相同，确定所述输入数据的所述第一数据部分的特征值；

在第二层比较中，确定所述输入数据的所述第一数据部分的所述特征值与重复数据模式列表中预先存储的重复数据模式相匹配；

响应于确定所述输入数据的所述第一数据部分的所述特征值与所述重复数据模式列表中所述预先存储的重复数据模式相匹配，确定所述第一数据部分与关联于所述预先存储的重复数据模式的对应参考数据的关联性；

在第三层比较中，确定所述关联性指示所述第一数据部分与所述对应参考数据不关联；以及

响应于确定所述关联性指示所述第一数据部分与所述对应参考数据不关联，存储所述输入数据。

2.根据权利要求1所述的方法，其中所述多个预定位置与所述输入数据的起始部分与结尾部分之间的多个等分位置分别相临近。

3.根据权利要求1所述的方法，其中来自所述多个预定位置的所述数据基于组合在所述输入数据的第一数目个所述多个预定位置中的每个预定位置处的第二数目个字节中的数据。

4.根据权利要求1所述的方法，其中确定所述第一数据部分与所述对应参考数据的关联性包括：

从所述第一数据部分中确定具有预定长度的多个第一数据部分；

基于所述对应参考数据，确定具有所述预定长度的多个第二数据部分；以及

基于对从所述第一数据部分确定的所述多个第一数据部分和基于所述对应参考数据确定的所述多个第二数据部分的比较，来确定所述关联性。

5.一种确定重复数据的设备，包括：

存储器，被配置为存储一个或多个程序；

处理单元，耦合至所述存储器并且被配置为执行所述一个或多个程序使所述设备执行多个动作，所述动作包括：

在第一层比较中，确定输入数据中第一数据部分与来自所述输入数据的多个预定位置的数据相同；

响应于确定所述输入数据的所述第一数据部分与来自所述输入数据的所述多个预定位置的所述数据相同，确定所述输入数据的所述第一数据部分的特征值；

在第二层比较中，确定所述输入数据的所述第一数据部分的所述特征值与重复数据模式列表中预先存储的重复数据模式相匹配；

响应于确定所述输入数据的所述第一数据部分的所述特征值与所述重复数据模式列表中所述预先存储的重复数据模式相匹配，确定所述第一数据部分与关联于所述预先存储的重复数据模式的对应参考数据的关联性；

在第三层比较中，确定所述关联性指示所述第一数据部分与所述对应参考数据不关联；以及

响应于确定所述关联性指示所述第一数据部分与所述对应参考数据不关联，存储所述输入数据。

6.根据权利要求5所述的设备，其中所述多个预定位置与所述输入数据的起始部分与结尾部分之间的多个等分位置分别相临近。

7.根据权利要求5所述的设备，其中来自所述多个预定位置的所述数据基于组合在所述输入数据的第一数目个所述多个预定位置中的每个预定位置处的第二数目个字节中的数据。

8.根据权利要求5所述的设备，其中确定所述第一数据部分与所述对应参考数据的关联性包括：

从所述第一数据部分中确定具有预定长度的多个第一数据部分；

基于所述对应参考数据，确定具有所述预定长度的多个第二数据部分；以及

基于对从所述第一数据部分确定的所述多个第一数据部分和基于所述对应参考数据确定的所述多个第二数据部分的比较，来确定所述关联性。

9.一种非瞬态计算机可读介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1-4中任一项所述的方法的步骤。