[发明专利]一种挖掘统一资源定位符转换规则的方法及电子设备

权利要求书

1.一种挖掘统一资源定位符转换规则的方法，其特征在于，所述方法包括：

通过网络爬虫抓取电脑版本的目标网站下的N个电脑版统一资源定位符URL；

抓取所述目标网站对应的无线网站下的N1个无线版URL，N和N1均为大于第一阈值的整数；

获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，其中，所述目标URL对中的目标无线版URL和目标电脑版URL对应的两个页面之间的相似度大于设定阈值；

根据获得的所述目标URL对，获得所述目标网站的所述电脑版URL到所述无线版URL的转换规则。

2.如权利要求1所述的方法，其特征在于，在所述抓取所述目标网站对应的无线网站下的N1个无线版URL之前，所述方法包括：

判断所述目标网站的电脑版网站首页URL是否能够重定向到所述目标网站的无线版网站首页URL；

若所述电脑版网站首页URL能够重定向到所述无线版网站首页URL，则重定向所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL；

若所述电脑版网站首页URL不能够重定向到所述无线版网站首页URL，根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL。

3.如权利要求2所述的方法，其特征在于，当所述目标网站的电脑版网站首页URL能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

从N个所述电脑版URL中筛选出能够重定向到任一所述无线版URL的第一目标URL；

将所述第一目标URL及重定向获得的第二目标URL组成目标URL对。

4.如权利要求2所述的方法，其特征在于，当所述目标网站的电脑版网站首页URL不能够重定向到所述无线版网站首页URL时，所述获得所述N1个无线版URL与所述N个电脑版URL中相互匹配的目标URL对，包括：

在所述N个电脑版URL及其对应页面的全量库中，查找获得与候选无线版URL主域相同且对应的页面标题之间的相似度大于第二阈值的候选电脑版URL，其中，所述候选无线版URL为所述N1个无线版URL中的任一URL；

从所述候选电脑版URL中，获得与所述候选无线版URL之间URL相似度最大的URL作为与所述候选无线URL匹配的目标电脑版URL；

将所述候选无线版URL和所述目标电脑版URL作为所述目标URL对。

5.如权利要求2所述的方法，其特征在于，所述根据无线网页的URL关键词和所述电脑版网站首页URL获得所述目标网站对应的无线版网站首页URL，包括：

根据无线网页的URL关键词和所述电脑版网站首页URL，生成至少一个待定的无线版网站首页URL；

通过无线网页浏览器抓取所述待定的无线版网站首页URL的页面，并判断抓取得到的页面是否是无效页面；

若抓取得到的所述待定的无线版网站首页URL的页面不是无效页面，则判断所述待定的无线版网站首页URL的页面是否是电脑版本的页面；

若所述待定的无线版网站首页URL的页面不是电脑版本的页面，则确定所述待定的无线版网站首页URL即为所述目标网站的电脑版网站首页URL对应的无线版网站首页URL。