[发明专利]一种基于多重布隆过滤的URL去重方法及系统

说明书

本发明公开了一种基于多重布隆过滤的URL去重方法及系统，方法包括：获取待去重URL目标信息；当待去重URL目标信息不存在于预设URL信息库时，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息，计算k个Hash函数对应的Hash值，并对k个Hash值求和；第二布隆过滤器分析k个Hash值之和，对k个Hash值求和；将第二布隆过滤器求取的k个Hash值之和循环输入第二布隆过滤器，利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中，当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时，去除待去重URL目标信息，从而提高工作效率，降低损耗时间及误判率。

技术领域

本发明涉及电力信息安全技术领域，具体涉及一种基于多重布隆过滤的URL去重方法及系统。

背景技术

随着电力物联网战略推进，以及先进信息通信技术和互联网+在电网中的广泛应用，电力系统逐步打破了以往的封闭性和专有性，开放互动、广泛互联的电力Web业务系统建设部署愈发广泛，电力Web业务系统的先天性漏洞隐患使得公司面临网络与信息安全风险向电力系统传导风险。国内外对电力业务系统后门、漏洞和脆弱性等方面的研究日益重视和深入，一些电力业务系统产品的安全漏洞信息和攻击代码在互联网上传播，导致对电力业务系统网络安全实施攻击的门槛逐渐降低，电力信息系统网络安全形势日益严峻。

现有的对于Web系统的渗透测试工具大都需要通过对目标网站的信息爬取，获取网站中的URL集合，从而完成渗透测试的前期准备工作；对于Web系统的渗透测试包含多个IP地址或网段，其中含有大量的URL，在进行信息爬取时，可能出现已经抓取过的URL再次添加到带抓取队列中的情况，给系统造成负荷，甚至使系统陷入死循环中，极大影响了渗透测试系统的工作效率，存在重复抓取、时间损损耗高、工作效率低及误判率高的问题。

发明内容

因此，本发明提供的一种基于多重布隆过滤的URL去重方法及系统，克服了现有技术中重复抓取、时间损耗高、工作效率低及误判率高的缺陷。为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种基于多重布隆过滤的URL去重方法，包括：

步骤S1：获取待去重URL目标信息；

步骤S2：当待去重URL目标信息不存在于预设URL信息库时，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

步骤S3：利用包含k个Hash函数的第二布隆过滤器分析k个Hash值之和，并计算k个Hash函数对应的Hash值，并对k个Hash值求和；

步骤S4：k个Hash值求和完成后，转入步骤S3，利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中，当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时，去除待去重URL目标信息。

可选地，第一布隆过滤器和第二布隆过滤器的二进制位数的长度相同。

可选地，预设URL信息库包括：当对应的索引位置的值不均为1时的待去重URL目标信息。

可选地，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息过程，包括：

利用包含k个Hash函数的第一布隆过滤器，将待去重URL目标信息的元素映射到二进制位数组中的k个位置上，如果k个位置上的Hash值均为1，该元素存在于第一布隆过滤器中。

可选地，利用网络爬虫工具对待去重URL目标信息进行爬取。

可选地，通过以下公式计算多重布隆过滤器的误判率：

p′＝P^s＝(1-e^-kn/m)^sk