[发明专利]数据去重方法和装置

权利要求书

1.一种数据去重方法，其特征在于，包括：

生成待去重数据集中数据的散列值；

比较所述待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，所述无重复数据集散列值是根据无重复数据集生成的；

将所述非重复数据记录到无重复数据集，并从所述待去重数据集中删除；

在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。

2.根据权利要求1所述的方法，其特征在于，在所述在数据库中的无重复数据集中查找待去重数据集中的数据之前，所述方法还包括：

在内存中的暂存数据集中查找待去重数据集中的数据，其中，所述暂存数据集是无重复数据集的子集；

从待去重数据集中删除查找到的数据。

3.一种数据去重方法，其特征在于，包括：

在内存中的暂存数据集中查找待去重数据集中的数据，其中，所述暂存数据集是无重复数据集的子集；

从待去重数据集中删除查找到的数据；

在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。

4.根据权利要求3所述的方法，其特征在于，在所述在数据库中的无重复数据集中查找待去重数据集中的数据之前，所述方法还包括：

生成待去重数据集中数据的散列值；

比较所述待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，所述无重复数据集散列值是根据无重复数据集生成的；

将所述非重复数据记录到无重复数据集，并从所述待去重数据集中删除。

5.根据权利要求1、2或4所述的方法，其特征在于，

还包括：

采用若干映射函数，在内存中生成无重复数据集中数据的若干映射值；

将二进制数组中与所述无重复数据集中数据的若干映射值对应的位设置为1，其余的位设置为0，获得无重复数据集散列值；

所述生成待去重数据集中数据的散列值包括：

采用所述若干映射函数生成待去重数据集中数据的若干散列值；

所述比较所述待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据包括：

将所述待去重数据集中若干散列值在二进制数组中对应的位的值为0的数据确定为非重复数据。

6.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：

将所述非重复数据的散列值添加到所述无重复数据集散列值。

7.根据权利要求2或3所述的方法，其特征在于，还包括：

将所述暂存数据集中最近最少使用的数据从所述暂存数据集中删除。

8.根据权利要求1-4中任一项所述的方法，其特征在于，所述无重复数据集和待去重数据集中的数据为统一资源定位符、用户标识、电子邮件地址、文档或者多媒体数据。

9.一种数据去重装置，其特征在于，包括：

散列值生成模块，用于生成待去重数据集中数据的散列值；

散列值比较模块，用于比较所述待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，所述无重复数据集散列值是根据无重复数据集生成的；

非重复数据预提取模块，用于将所述非重复数据记录到无重复数据集，并从所述待去重数据集中删除；

数据库去重模块，用于在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。

10.根据权利要求9所述的装置，其特征在于，还包括：

重复数据内存查找模块，用于在内存中的暂存数据集中查找待去重数据集中的数据，其中，所述暂存数据集是无重复数据集的子集；

重复数据预删除模块，用于从待去重数据集中删除查找到的数据。