[发明专利]数据去重方法和装置

说明书

本发明公开了一种数据去重方法和装置，涉及数据处理领域。其中的数据去重方法包括：生成待去重数据集中数据的散列值；比较待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，无重复数据集散列值是根据无重复数据集生成的；将非重复数据记录到无重复数据集，并从待去重数据集中删除；在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。通过首先在内存中对待去重数据进行快速的、非全面的去重，减少待去重数据集中的数据量，再将处理后剩余的少量数据在数据库中进行精确的查找和去重，从而能够实现对大量数据的高效去重处理。

技术领域

本发明涉及数据处理领域，特别涉及一种数据去重方法和装置。

背景技术

当前，互联网中URL(Uniform Resource Locator，统一资源定位符)链接数量庞大，独立链接的数量在百亿量级，并且普遍存在同一个URL被多个网页页面所链接的现象，从而造成爬虫在爬取过程中会将反复出现的相同URL加入到爬取队列中，进而造成大量的重复无用工作，严重影响爬虫的数据爬取效率。因此，在爬虫对网页内容爬取之前，必须要分析网页链接对应的URL是否已经存在于爬取队列当中，进行URL数据的去重。

此外，在垃圾邮件过滤、云存储等领域，也亟需数据去重技术，以建立电子邮件地址黑名单、减少相同文件存储数量等等。

目前，主要采用基于数据库、基于内存和基于磁盘路径的去重方法。

基于数据库的去重方案为，将非重复数据存入数据库中，当获取了新的数据时，在数据库中查询新获取的数据。如果在数据中已有查询结果，则不将该新获取的数据入库。该方法具有足够的精确性和稳定性，但是性能存在缺陷，特别是同时对大量的新获取数据进行并发查询时，数据库会产生性能不足的情况。

基于内存的去重方案为，将非重复数据保存在内存中进行去重。该方法具有较高的性能，但是问题在于它将所有的数据都保存在内存当中，快速增长数据量会迅速耗尽大量内存资源，从而造成系统的瘫痪。

基于磁盘路径的去重的方案为：将非重复数据通过MD5(Message-DigestAlgorithm 5，消息摘要算法第五版)编码形成32位MD5值，然后将该值分割为32位数组，并根据分割的顺序依次在磁盘中创建相应目录，因此每个数据将对应一个深度为32的磁盘路径。当获取新的数据时，根据其MD5值的对应磁盘路径是否存在决定是将其去重还是为其建立新的磁盘路径。该方法性能较高，但在大规模数据去重的应用场景中，它会因为创建了大量的系统碎片，从而造成磁盘系统的崩溃。

因此，现有技术中的方案无法高效地实现大量数据的去重。

发明内容

本发明实施例所要解决的一个技术问题是：如何对大量数据进行高效的去重处理。

根据本发明实施例的第一个方面，提供一种数据去重方法，包括：生成待去重数据集中数据的散列值；比较待去重数据集中数据的散列值与内存中的无重复数据集散列值，确定待去重数据集中的非重复数据，其中，无重复数据集散列值是根据无重复数据集生成的；将非重复数据记录到无重复数据集，并从待去重数据集中删除；在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。

根据本发明实施例的第二个方面，提供一种数据去重方法，包括：在内存中的暂存数据集中查找待去重数据集中的数据，其中，暂存数据集是无重复数据集的子集；从待去重数据集中删除查找到的数据；在数据库中的无重复数据集中查找待去重数据集中的数据，将未查找到的数据添加到无重复数据集中。