[发明专利]网站翻页逻辑的获取、及网站翻页控制方法和装置

权利要求书

1.一种网站翻页逻辑的获取方法，包括：

获取目标网页的URL；

通过对所述目标网页进行网页信息请求，获取所述目标网页的源码，并对所述源码进行解析，以获取至少一个候选URL；

从对所述源码进行解析获取的所述至少一个候选URL中选取与所述目标网页的URL相似度最高的URL以作为所述目标网页的下一页的URL；

基于所述目标网页的下一页的URL进行网页信息请求；

响应于网页信息请求成功，基于所述目标网页的URL和所述目标网页的下一页的URL之间的差异，确定并返回所述目标网页所在网站的网站翻页逻辑，以便对所述网站进行信息获取时用于实现网页自动翻页；或者

响应于网页信息请求失败，基于所述目标网页的URL和/或所述目标网页的下一页的URL，预测所述网站的网站翻页逻辑中的翻页标识；

从网站翻页逻辑数据库中查找翻页标识与预测的翻页标识相同或相似的至少一个候选网站翻页逻辑；以及

从所述至少一个候选网站翻页逻辑中查找符合所述网站的网站翻页逻辑。

2.根据权利要求1所述的方法，还包括：在基于所述目标网页的URL和所述目标网页的下一页的URL之间的差异，确定并返回所述目标网页所在网站的网站翻页逻辑之前，

基于所述目标网页的下一页的URL进行网页信息请求；

响应于网页信息请求成功，获取所述目标网页的下一页的源码；

确定所述目标网页的源码描述的页面结构与所述目标网页的下一页的源码描述的页面结构的相似度是否大于等于对应的相似度阈值，

其中，响应于所述相似度大于等于所述对应的相似度阈值，执行基于所述目标网页的URL和所述目标网页的下一页的URL之间的差异，确定并返回所述目标网页所在网站的网站翻页逻辑的操作。

3.根据权利要求2所述的方法，还包括：

响应于网页信息请求失败或者所述相似度小于所述对应的相似度阈值，基于所述目标网页的URL和所述目标网页的下一页的URL，预测所述网站的网站翻页逻辑中的翻页标识；

从网站翻页逻辑数据库中查找翻页标识与预测的翻页标识相同或相似的至少一个候选网站翻页逻辑；以及

从所述至少一个候选网站翻页逻辑中查找符合所述网站的网站翻页逻辑。

4.根据权利要求1或3所述的方法，还包括：

在从所述至少一个候选网站翻页逻辑中能够找出符合所述网站的网站翻页逻辑的情况下，在对所述网站进行信息获取时利用当前找出的网站翻页逻辑进行翻页，并将表征当前找出的网站翻页逻辑的出现频次的字段值加1。

5.根据权利要求1或3所述的方法，还包括：

在无法从所述至少一个候选网站翻页逻辑中找出符合所述网站的网站翻页逻辑的情况下，发出告警，以便通过人工方式确定所述网站的网站翻页逻辑。

6.根据权利要求1所述的方法，还包括：

基于确定并返回的所述网站的网站翻页逻辑，更新对应的网站翻页逻辑数据库。

7.根据权利要求1所述的方法，还包括：在对所述源码进行解析后无法获取到任何候选URL的情况下，基于所述目标网页的URL，预测并返回所述目标网页所在网站的网站翻页逻辑。

8.根据权利要求1所述的方法，其中，所述网站翻页逻辑由以下信息中的至少之一刻画：翻页标识、翻页标识与网页页码之间的连接符、起始页码、首页页码是否省略、相邻页面之间的页码增幅。

9.一种网站翻页控制方法，包括：

获取网站的网站翻页逻辑，其中，所述网站翻页逻辑是根据权利要求1-8中任一项所述的方法确定的；以及

在访问所述网站的过程中，基于所述网站翻页逻辑，控制所述网站的网页由当前页自动翻至所述当前页的下一页。