[发明专利]一种网络爬虫去重方法和计算设备

说明书

本发明公开了一种网络爬虫去重方法，适于在计算设备中执行，该计算设备中设置有页面视觉范围的横纵坐标阈值和各参数导航站点的判定阈值，该方法包括：下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息，并建立相应的页面视觉坐标系；从渲染页面中提取各超链接对象的坐标信息，该坐标信息包括各超链接对象在页面视觉坐标系内的横纵坐标值；若某个超链接对象的横纵坐标值中有一个值小于等于对应的坐标阈值，则判定该超链接对象在页面视觉范围内；以及统计在页面视觉范围内的超链接对象数目，若该数目大于等于判定阈值，则判定该目标站点为参数导航站点，并在爬虫过程中省略对页面视觉范围内的超链接对象的去重处理。

技术领域

本发明涉及互联网技术领域，尤其涉及一种网络爬虫去重方法和计算设备。

背景技术

随着网络的迅速发展，万维网成为大量信息的载体，为有效地提取并利用这些信息网络爬虫诞生了。网络爬虫为了高效的爬取网站信息，需对网站相似页面进行去重。但是目前网站的结构千差万别，以至于网络爬虫去重形成了难题。例如基于参数导航的站点，该类型站点的特点是通过同一个URL实现不同逻辑页面的跳转，这个URL中往往包含某个特定参数，后台应用会根据这个参数的值来判断页面跳转逻辑。

目前网络爬虫页面去重多采用基于参数个数的去重算法，例如去重参数个数配置为4，在进行站点页面信息提取时URL中同一参数值的个数大于4的URL页面将不被进行信息提取。但这种方法在对参数导航类型的站点进行信息提取时，页面容易被网络爬虫去重算法过滤掉从而导致信息的漏提取。

因此，需要一种能够有效防止信息漏提取的网络爬虫方法。

发明内容

为此，本发明提供一种职位搜索方法和计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种网络爬虫去重方法，适于在计算设备中执行，所述计算设备中设置有页面视觉范围的横纵坐标阈值和各参数导航站点的判定阈值，该方法包括：下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息，并建立与该可视页面相对应的页面视觉坐标系；从渲染后的可视页面信息中提取呈现在页面中的各个超链接对象的坐标信息，坐标信息包括各超链接对象在页面视觉坐标系内的横纵坐标值；对于某个超链接对象，若其横纵坐标值中有一个值小于等于对应的坐标阈值，则判定该超链接对象在页面视觉范围内，反之则不在页面视觉范围内；以及统计在页面视觉范围内的超链接对象数目，若该数目大于等于判定阈值，则判定该目标站点为参数导航站点，并在爬虫过程中省略对页面视觉范围内的超链接对象的去重处理。

可选地，在根据本发明的方法中，还包括：若判定该目标站点为参数导航站点，则对不在页面视觉范围内的超链接对象进行去重处理；以及若某目标站点中在页面视觉范围内的超链接对象的数目小于判定阈值，则判定该目标站点不是参数导航站点，并对该目标站点内的所有超链接对象进行去重处理。

可选地，在根据本发明的方法中，判定阈值为目标站点中具有相同路径、相同参数但参数值不同的超链接对象的判定阈值。

可选地，在根据本发明的方法中，页面视觉范围的横纵坐标阈值均为200像素。

可选地，在根据本发明的方法中，下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息的步骤适于通过webkit内核类浏览器引擎来执行。

可选地，在根据本发明的方法中，各超链接对象具有文本框，其坐标信息适于利用.QtWebKit.QWebElement的geometry()方法提取，其提取内容中key为各超链接对象的内容，value值中包括各超链对象所在文本框的左上顶点的横纵坐标值。

可选地，在根据本发明的方法中，坐标信息还包括该超链接对象所在文本框的长度和高度。

可选地，在根据本发明的方法中，页面视觉坐标系以浏览器界面的左上角为原点，原点向右为X轴，向下为Y轴。