[发明专利]一种网络爬虫去重方法和计算设备有效
| 申请号： | 201710706059.6 | 申请日： | 2017-08-17 |
| 公开（公告）号： | CN107480264B | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 郭宝军 | 申请（专利权）人： | 北京知道创宇信息技术股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 11396 北京思睿峰知识产权代理有限公司 | 代理人： | 谢建云;赵爱军<国际申请>=<国际公布> |
| 地址： | 100102北京市朝阳区阜*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网络爬虫去重方法，适于在计算设备中执行，该计算设备中设置有页面视觉范围的横纵坐标阈值和各参数导航站点的判定阈值，该方法包括：下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息，并建立相应的页面视觉坐标系；从渲染页面中提取各超链接对象的坐标信息，该坐标信息包括各超链接对象在页面视觉坐标系内的横纵坐标值；若某个超链接对象的横纵坐标值中有一个值小于等于对应的坐标阈值，则判定该超链接对象在页面视觉范围内；以及统计在页面视觉范围内的超链接对象数目，若该数目大于等于判定阈值，则判定该目标站点为参数导航站点，并在爬虫过程中省略对页面视觉范围内的超链接对象的去重处理。 | ||
| 搜索关键词： | 一种 网络 爬虫 方法 计算 设备 | ||
【主权项】：
1.一种网络爬虫去重方法，适于在计算设备中执行，所述计算设备中设置有页面视觉范围的横纵坐标阈值和参数导航站点的判定阈值，该方法包括：/n下载并渲染与目标站点相关的资源，以获得该目标站点的可视页面信息，并建立与该可视页面相对应的页面视觉坐标系；/n从渲染后的可视页面信息中提取呈现在页面中的各个超链接对象的坐标信息，所述坐标信息包括各超链接对象在页面视觉坐标系内的横纵坐标值；/n对于某个超链接对象，若其横纵坐标值中有一个值小于等于对应的坐标阈值，则判定该超链接对象在页面视觉范围内，反之则不在页面视觉范围内；以及/n统计在所述页面视觉范围内的超链接对象数目，若该数目大于等于所述判定阈值，则判定该目标站点为参数导航站点，并在爬虫过程中省略对所述页面视觉范围内的超链接对象的去重处理。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京知道创宇信息技术股份有限公司，未经北京知道创宇信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710706059.6/，转载请声明来源钻瓜专利网。
