[发明专利]一种用于分布式爬虫网址去重的方法

说明书

本发明公开了一种用于分布式爬虫网址去重的方法，分布式爬虫网址去重的步骤如下：采集URL集合、初次计算、二次计算、判断数据是否存在一、判断数据是否存在二、完成采集。本发明取得如下技术效果：解决了大规模网页地址去重的瓶颈问题，该方法可以自由拓展分布式内存数据库的数量，满足任何数据规模的去重需求，由于基于内存数据库，所以去重效率非常高，由于是分布式，所有不存在内存溢出或者I/O超载的情况。

技术领域

本发明涉及计算机网络技术领域，确切地说是一种用于分布式爬虫网址去重的方法。

背景技术

随着互联网的迅速发展，互联网舆情监测的越来越宽泛，如何解决每天亿级数据的去重问题成了，数据采集领域一个重要的难题，既要保障去重的准确性又要保证去重的高效率，常规的去重已经无法满足业务需求。

基于内存的去重方法需要面对内存溢出的问题，尤其是在面对海量日益增长的网页URL的情况下。目前通用的解决方案是采用Bloom Filter，这种方法虽然解决了内存溢出问题，但却牺牲了准确率，随着数据量的增大，碰撞概率也会增大。

基于磁盘的去重方法不存在内存溢出问题，这类方法一般采用数据库去重的方式。对于传统关系型数据库，在处理海量URL去重时会面临单点问题以及查询效率随数据量增长而下降问题。

发明内容

本发明要解决的技术问题是基于磁盘的去重方法不存在内存溢出问题，这类方法一般采用数据库去重的方式。对于传统关系型数据库，在处理海量URL去重时会面临单点问题以及查询效率随数据量增长而下降问题。

为解决上述技术问题，本发明采用如下技术手段：

一种用于分布式爬虫网址去重的方法，分布式爬虫网址去重的步骤如下：

步骤1：采集URL集合：通过爬虫获取需要采集的URL集合；

步骤2：初次计算：针对采集的每个URL进行编码计算，针对编码前两位计算所在的内存数据库；

步骤3：二次计算：将初次计算编码数据发送到所在内存数据库做去重计算；

步骤4：判断数据是否存在一：判断采集发送的数据是否在内存数据库中，如果内存数据库中有相同匹配数据，返回失败；

步骤5：判断数据是否存在二：判断采集发送的数据是否在内存数据库中，如果内存数据库中没有相同匹配数据，不存在重复，返回成功；

步骤6：完成采集：将判断后返回的数据采集成功。

作为优选，本发明更进一步的技术方案是：

所述的采集URL集合的爬虫为分布式爬虫。

所述的初次计算的内存数据库为分布式内存数据库。

本发明取得如下技术效果：

1、解决了大规模网页地址去重的瓶颈问题。

2、该方法可以自由拓展分布式内存数据库的数量，满足任何数据规模的去重需求。

3、由于基于内存数据库，所以去重效率非常高。

4、由于是分布式，所有不存在内存溢出或者I/O超载的情况。

附图说明

图1为本发明的结构框图。

具体实施方式

下面结合实施例，进一步说明本发明。

参见图1可知，本发明一种用于分布式爬虫网址去重的方法，分布式爬虫网址去重的步骤如下：

步骤1：采集URL集合：通过爬虫获取需要采集的URL集合；