[发明专利]一种基于多重布隆过滤的URL去重方法及系统

权利要求书

1.一种基于多重布隆过滤的URL去重方法，其特征在于，包括：

步骤S1：获取待去重URL目标信息；

步骤S2：当待去重URL目标信息不存在于预设URL信息库时，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

步骤S3：利用包含k个Hash函数的第二布隆过滤器分析k个Hash值之和，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

步骤S4：k个Hash值求和完成后，转入步骤S3，利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中，当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时，去除待去重URL目标信息。

2.根据权利要求1所述的基于多重布隆过滤的URL去重方法，其特征在于，第一布隆过滤器和第二布隆过滤器的二进制位数的长度相同。

3.根据权利要求1所述的基于多重布隆过滤的URL去重方法，其特征在于，预设URL信息库包括：当对应的索引位置的值不均为1时的待去重URL目标信息。

4.根据权利要求2所述的基于多重布隆过滤的URL去重方法，其特征在于，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息过程，包括：

利用包含k个Hash函数的第一布隆过滤器，将待去重URL目标信息的元素映射到二进制位数组中的k个位置上，如果k个位置上的Hash值均为1，该元素存在于第一布隆过滤器中。

5.根据权利要求1所述的基于多重布隆过滤的URL去重方法，其特征在于，利用网络爬虫工具对待去重URL目标信息进行爬取。

6.根据权利要求2所述的基于多重布隆过滤的URL去重方法，其特征在于，通过以下公式计算多重布隆过滤器的误判率：

p′＝P^s＝(1-e^-kn/m)^sk

其中，m为二进制位数组的长度，k为Hash函数数量，n为需要添加的元素数量，s为布隆过滤器的个数。

7.一种基于多重布隆过滤的URL去重系统，其特征在于，包括：

目标获取模块，用于获取待去重URL目标信息；

第一布隆过滤器模块，用于当待去重URL目标信息不存在于预设URL信息库时，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

第二布隆过滤器模块，用于利用包含k个Hash函数的第二布隆过滤器分析k个Hash值之和，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

URL去重模块，用于k个Hash值求和完成后，转入第二布隆过滤器模块，利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中，当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时，去除待去重URL目标信息。

8.一种终端，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任一所述的基于多重布隆过滤的URL去重方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的基于多重布隆过滤的URL去重方法。