[发明专利]URL去重方法、装置、设备与计算机可读存储介质

权利要求书

1.一种URL去重方法，其特征在于，所述URL去重方法包括如下步骤：

获取预设的原始URL集合，并对所述原始URL集合进行过滤处理，以得到待去重URL集合；

构建所述待去重URL集合中各待去重URL之间的差异特征集合，所述差异特征集合中包含同类相似值，所述同类相似值用于表征与该所述差异特征集合满足预设同类条件的差异特征集合的数量；

确定包含的所述同类相似值超过预设阈值的目标差异特征集合，并对所述目标差异特征集合对应的待泛化URL进行泛化处理；

根据泛化结果，确定并剔除重复URL。

2.如权利要求1所述的URL去重方法，其特征在于，所述构建所述待去重URL集合中各待去重URL之间的差异特征集合的步骤包括：

依次从所述待去重URL集合中选择当前待去重URL，并从其他的待去重URL中确定所述当前待去重URL对应的一个以上的比较URL，确定当前待去重URL与各个所述比较URL之间的相同特征的位置和差异特征的位置；

基于所述相同特征的位置和所述差异特征的位置，构建当前待去重URL与所述比较URL的差异特征集合。

3.如权利要求2所述的URL去重方法，其特征在于，所述基于所述相同特征的位置和所述差异特征的位置，构建当前待去重URL与所述比较URL的差异特征集合的步骤包括：

从所述当前待去重URL对应的一个以上的所述比较URL中依次选取出当前比较URL，将所述当前待去重URL与所述当前比较URL的相同特征的位置和差异特征的位置分别作为目标相同位置和目标差异位置；

判断在已构建的差异特征集合中，是否存在同时包含全部所述目标相同位置和所述目标差异位置的差异特征集合；

若未存在，则基于所述目标相同位置、所述目标差异位置和预设的初始同类相似值，构建对应的差异特征集合；

若存在，则将同时包含全部所述目标相同位置和所述目标差异位置的差异特征集合中的同类相似值进行更新。

4.如权利要求1所述的URL去重方法，其特征在于，所述构建所述待去重URL集合中各待去重URL之间的差异特征集合的步骤包括：

依次从所述待去重URL集合中选择当前待去重URL，并从其他的待去重URL中确定所述当前待去重URL对应的一个以上的比较URL是否具备泛化属性；

若当前比较URL不具备泛化属性，则构建当前待去重URL与所述当前比较URL的差异特征集合。

5.如权利要求4所述的URL去重方法，其特征在于，所述依次从所述待去重URL集合中选择当前待去重URL，并从其他的待去重URL中确定所述当前待去重URL对应的一个以上的比较URL是否具备泛化属性的步骤之后，所述URL去重方法还包括：

若所述当前比较URL具备泛化属性，则获取所述当前比较URL的泛化结果，以及所述当前比较URL对应的差异特征集合；

基于所述泛化结果，检测当前待去重URL与所述当前比较URL是否属于同一类URL类型；

若是，则更新所述当前比较URL对应的差异特征集合中同类相似值。

6.如权利要求1所述的URL去重方法，其特征在于，所述确定包含的所述同类相似值超过预设阈值的目标差异特征集合，并对所述目标差异特征集合对应的待泛化URL进行泛化处理的步骤包括：

确定包含的所述同类相似值超过预设阈值的目标差异特征集合，并确定所述目标差异特征集合对应的差异URL的泛化内容；

基于所述预设算法，对所述泛化内容进行泛化处理，以得到对应的泛化结果。

7.如权利要求1-6任一项所述的URL去重方法，其特征在于，所述获取预设的原始URL集合，并对所述原始URL集合进行过滤处理，以得到待去重URL集合的步骤包括：

获取预设的原始URL集合，并对所述原始URL集合中的URL进行预处理，以得到所述原始URL集合中各URL对应的关键特征；

基于所述关键特征，将所述原始URL集合中的URL进行两两比较，并过滤重复的URL，以得到待去重URL集合。