[发明专利]一种网络爬虫去重方法和计算设备

权利要求书

1.一种网络爬虫去重方法，适于在计算设备中执行，所述计算设备中设置有页面视觉范围的横纵坐标阈值和参数导航站点的判定阈值，该方法包括：

下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息，并建立与该可视页面相对应的页面视觉坐标系；

从渲染后的可视页面信息中提取呈现在页面中的各个超链接对象的坐标信息，所述坐标信息包括各超链接对象在页面视觉坐标系内的横纵坐标值；

对于某个超链接对象，若其横纵坐标值中有一个值小于等于对应的坐标阈值，则判定该超链接对象在页面视觉范围内，反之则不在页面视觉范围内；以及

统计在所述页面视觉范围内的超链接对象数目，若该数目大于等于所述判定阈值，则判定该目标站点为参数导航站点，并在爬虫过程中省略对所述页面视觉范围内的超链接对象的去重处理。

2.如权利要求1所述的方法，还包括：

若判定该目标站点为参数导航站点，则对不在页面视觉范围内的超链接对象进行去重处理；以及

若某目标站点中在页面视觉范围内的超链接对象的数目小于所述判定阈值，则判定该目标站点不是参数导航站点，并对该目标站点内的所有超链接对象进行去重处理。

3.如权利要求1所述的方法，其中，所述判定阈值为目标站点中具有相同路径、相同参数但参数值不同的超链接对象的判定阈值。

4.如权利要求1所述的方法，其中，所述页面视觉范围的横纵坐标阈值均为200像素。

5.如权利要求1所述的方法，其中，所述下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息的步骤适于通过webkit内核类浏览器引擎来执行。

6.如权利要求1所述的方法，其中，各超链接对象具有文本框，其坐标信息适于利用.QtWebKit.QWebElement的geometry()方法提取，其提取内容中key为各超链接对象的内容，value值中包括各超链接对象所在文本框的左上顶点的横纵坐标值。

7.如权利要求1所述的方法，其中，所述坐标信息还包括该超链接对象所在文本框的长度和高度。

8.如权利要求1所述的方法，其中，所述页面视觉坐标系以浏览器界面的左上角为原点，原点向右为X轴，向下为Y轴。

9.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。

10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。