[发明专利]一种统一资源定位符URL去重方法及装置

权利要求书

1.一种统一资源定位符URL去重方法，其特征在于，包括：

当检测到待下载URL经过目标泛化处理后得到的第一URL不在第一列表中时，除去所述第一URL中的参数部分中的参数值得到除去参数值的第二URL，所述目标泛化处理用于将URL中相同类型的多个连续字符替换为单个字符，所述第一列表用于存储历史记录中已下载的URL经过所述目标泛化处理后得到的URL；

若检测到所述第二URL在第二列表中，获取所述第二URL在所述第二列表中的第一出现次数，所述第二列表用于存储历史记录中已下载的URL除去参数部分中的参数值后得到的URL；

若所述第一出现次数小于或等于第一阈值，则下载所述待下载URL；

当检测到所述第二URL不在所述第二列表中时，除去所述第二URL中的参数部分得到除去参数部分的第三URL；

当检测到所述第三URL在第三列表中时，检测所述第三URL在所述第三列表中的第三出现次数是否小于或等于第三阈值；所述第三列表用于存储历史记录中已下载的URL除去参数部分后得到的URL；

若所述第三出现次数小于或等于所述第三阈值，则下载所述待下载URL；其中，所述第三阈值小于或等于所述第一阈值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到所述待下载URL经过所述目标泛化处理后得到的所述第一URL在所述第一列表中时，获取所述第一URL在所述第一列表中的第二出现次数；

若所述第二出现次数小于或等于第二阈值，下载所述待下载URL；

其中，所述第二阈值大于或等于所述第一阈值，所述第一阈值为大于或等于0的整数。

3.根据权利要求1所述的方法，其特征在于，所述当检测到待下载URL经过目标泛化处理后得到的第一URL不在第一列表中时，除去所述第一URL中的参数部分中的参数值得到除去参数值的第二URL，包括：

对所述待下载URL进行目标泛化处理得到第一URL；

利用目标哈希函数计算所述第一URL的哈希值；

检测所述第一URL的哈希值是否在第一列表中，所述第一列表用于存储历史记录中已下载的URL经过目标泛化处理后得到的URL的哈希值；

当所述第一URL的哈希值不在所述第一列表中时，除去所述第一URL中的参数部分中的参数值得到除去参数值的第二URL。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一URL包括协议、服务器名称、路径以及参数字段，所述参数字段包括参数值；所述除去所述第一URL中的参数部分得到第二URL，包括：

删除所述第一URL中的参数字段中的参数值得到所述第二URL。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述若检测到所述第二URL在所述第二列表中，获取所述第二URL在所述第二列表中的第一出现次数，包括：

利用目标哈希函数计算所述第二URL的哈希值；

检测所述第二URL的哈希值是否在所述第二列表中，所述第二列表用于存储历史记录中已下载的URL除去参数部分后得到的URL的哈希值；

若所述第二URL的哈希值在所述第二列表中，获取所述第二URL的哈希值在所述第二列表中的所述第一出现次数。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

若所述第二URL不在所述第二列表中，则下载所述待下载URL。