[发明专利]检测重复URL的方法及装置

摘要

本发明涉及一种检测重复URL的方法及装置，方法包括对第一URL地址集合中的各URL地址进行分组；针对每一组别，分别对其中每个URL地址的第一特性部分进行泛化表示，形成为第二URL地址集合；针对第二URL地址集合，分别对其每个元素包含的各URL地址的第二特性部分进行泛化表示，形成为第三URL地址集合；针对第三URL地址集合的每个元素，分别提取其包含的各URL地址的共性部分，形成为第四URL地址集合；若网络爬虫获得的一待下载URL地址与第四URL地址集合中任一元素匹配，则判定该待下载URL地址对应的网页已被下载。其可以避免网页的重复下载，提高网络爬虫工作效率。

主权项

一种检测重复URL的方法，用于检测一网络爬虫获得的一URL地址对应的网页是否与所述网络爬虫已下载过的网页内容重复或接近，所述方法包括如下步骤：a)、分组步骤：对第一URL地址集合中的各URL地址进行分组，以使同一组别中各所述URL地址对应的网页间的差异度小于第一设定阈值；b)、URL模式抽取步骤：针对每一所述组别，分别对其中每个所述URL地址的第一特性部分进行泛化表示，并以泛化后的各所述URL地址共同作为第二URL地址集合中的一个元素，以形成为所述第二URL地址集合；其中，所述第一特性部分使得同一所述组别中每一所述URL地址相异于其他所述URL地址；c)、URL模式生成步骤：针对所述第二URL地址集合，分别对其每个元素包含的各所述URL地址的第二特性部分进行泛化表示，并以泛化后的各所述URL地址共同作为第三URL地址集合中的一个元素，以形成为所述第三URL地址集合；其中，所述第二特性部分使得所述第二URL地址集合中的每个元素所包含的各所述URL地址相异于其他元素所包含的各所述URL地址；d)、主URL模式构建步骤：针对所述第三URL地址集合的每个元素，分别提取其包含的各所述URL地址的共性部分，并以所述共性部分作为第四URL地址集合中的一个元素，以形成为所述第四URL地址集合；e)、重复URL检测步骤：对于所述网络爬虫获得的一待下载URL地址，若该待下载URL地址与所述第四URL地址集合中任一元素匹配，则判定该待下载URL地址对应的网页已被下载；否则，则判定该待下载URL地址对应的网页未被下载。