[发明专利]URL去重方法、装置、设备与计算机可读存储介质

说明书

本发明公开了一种URL去重方法，包括：获取预设的原始URL集合，并对所述原始URL集合进行过滤处理，以得到待去重URL集合；构建所述待去重URL集合中各待去重URL之间的差异特征集合，所述差异特征集合中包含同类相似值，所述同类相似值用于表征与该所述差异特征集合满足预设同类条件的差异特征集合的数量；确定包含的所述同类相似值超过预设阈值的目标差异特征集合，并对所述目标差异特征集合对应的待泛化URL进行泛化处理；根据泛化结果，确定并剔除重复URL。本发明还公开了一种URL去重装置、设备和计算机可读存储介质。本发明采用双重去重，在一开始过滤明显重复的URL，再通过泛化处理，将存在差异的但实际所属同一类的URL进行剔除，进而提高URL的去重精度。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及URL去重方法、装置、设备与计算机可读存储介质。

背景技术

近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，去重技术被引入银行等金融机构日常服务中，在银行等金融机构日常服务过程中，不可避免的会出现漏洞问题，针对漏洞问题，银行等金融机构一般是通过网站爬虫爬取相关网站的URL(UniformResource Locator，统一资源定位符)，并通过存储有相关特征的漏洞仓库进行漏洞扫描，当扫描到有对应的特征时，即认为当前网站有漏洞存在。而URL去重则是指将重复爬取的URL去除，避免多次抓取同一页面，增加扫描工作量。

现有的URL去重通常采用Hash表、Bloom Filter(布隆过滤器)等工具对URL进行去重，其基本原理都是将待去重URL与其他URL进行比较，剔除重复的URL，然而现有的URL去重工具，都不太友好，要么去重标准过于严苛，导致扫描任务加重，扫描效率偏低；要么去重标准过于宽松，导致未能发现潜藏的漏洞，使得漏洞发现覆盖率偏低，影响扫描结果等，因此，如何平衡扫描效率以及扫描结果，从而提高URL的去重精度，是亟待解决的技术问题。

发明内容

本发明的主要目的在于提出一种URL去重方法、装置、设备与计算机可读存储介质，旨在提高URL的去重精度。

为实现上述目的，本发明提供一种URL去重方法，所述URL去重方法包括如下步骤：

获取预设的原始URL集合，并对所述原始URL集合进行过滤处理，以得到待去重URL集合；

构建所述待去重URL集合中各待去重URL之间的差异特征集合，所述差异特征集合中包含同类相似值，所述同类相似值用于表征与该所述差异特征集合满足预设同类条件的差异特征集合的数量；

确定包含的所述同类相似值超过预设阈值的目标差异特征集合，并对所述目标差异特征集合对应的待泛化URL进行泛化处理；

根据泛化结果，确定并剔除重复URL。

优选地，所述构建所述待去重URL集合中各待去重URL之间的差异特征集合的步骤包括：

依次从所述待去重URL集合中选择当前待去重URL，并从其他的待去重URL中确定所述当前待去重URL对应的一个以上的比较URL，确定当前待去重URL与各个所述比较URL之间的相同特征的位置和差异特征的位置；

基于所述相同特征的位置和所述差异特征的位置，构建当前待去重URL与所述比较URL的差异特征集合。

优选地，所述基于所述相同特征的位置和所述差异特征的位置，构建当前待去重URL与所述比较URL的差异特征集合的步骤包括：

从所述当前待去重URL对应的一个以上的所述比较URL中依次选取出当前比较URL，将所述当前待去重URL与所述当前比较URL的相同特征的位置和差异特征的位置分别作为目标相同位置和目标差异位置；

判断在已构建的差异特征集合中，是否存在同时包含全部所述目标相同位置和所述目标差异位置的差异特征集合；