[发明专利]一种URL管理方法、系统

摘要

本发明公开了一种URL管理方法、系统，包括了待爬URL库、种子URL、错链库、需要登录URL库、跳链库、已爬URL库和相似链库，包括URL管理的过程：步骤A：爬虫程序先从待爬URL库里拿取种子URL；步骤B：爬虫程序爬取种子URL来访问对应网页，判断该网页是否可以访问；步骤C：判断该网页是否需要进行登录处理和判断该网页是否属于跳转链接；步骤D：若在不属于跳转链接的网页中发现新的网页链接，则对新链接所对应的网页进行相似度的判断。以解决爬虫程序重复爬取错误的URL链接的问题并且方便进行技术人员优化URL的大数据分析。

主权项

一种URL管理方法，包括待爬URL库、种子URL、错链库、需要登录URL库、跳链库、已爬URL库和相似链库，其特征在于：包括了URL管理过程：步骤A：爬虫程序先从所述待爬URL库里拿取所述种子URL；步骤B：爬虫程序爬取所述种子URL来访问对应网页；若发现该网页无法访问则对所述种子URL的属性标签进行判断，判断所述种子URL的属性标签是否被访问了3次；若是所述种子URL的属性标签被访问不足次则将所述种子URL保存回所述待爬URL库并标识所述种子URL的属性标签被访问的次数；若是所述种子URL的属性标签被访问的次数超过3次则将所述种子URL保存到所述错链库里；步骤C：若是能访问该网页，则判断该网页是否需要进行登录处理；若是该网页需要进行登录处理则将所述种子URL保存到所述需要登录URL库；若是该网页不需要进行登录处理则对该网页进行下一步判断，判断该网页的链接是否属于跳转链接，若该网页的链接属于跳转链接则将所述种子URL保存到所述跳链库；若是该网页的链接不属于跳转链接则将所述种子URL保存到所述已爬URL库中；步骤D：若在不属于跳转链接的网页中发现新的网页链接，则对新链接所对应的网页进行相似度的判断，判断该新链接所对应的网页是否与已爬取的网页相似，若是相似则将新链接保存到所述相似链库；若是不相似则将新链接保存到所述待爬URL库中。