[发明专利]基于网络爬虫的链接去重方法、装置、设备及存储介质有效
| 申请号： | 201910670803.0 | 申请日： | 2019-07-23 |
| 公开（公告）号： | CN110399546B | 公开（公告）日： | 2022-02-08 |
| 发明（设计）人： | 雷建云;王锦群;郑禄;毛腾跃;孙翀;马尧;张蕾 | 申请（专利权）人： | 中南民族大学 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955 |
| 代理公司： | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人： | 胡海国 |
| 地址： | 430074 湖北省武汉*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及互联网技术领域，公开了一种基于网络爬虫的链接去重方法、装置、设备及存储介质。该方法包括：在接收到待分析农产品的数据抓取请求时，从数据抓取请求中提取待访问平台的第一统一资源定位符URL链接；根据第一URL链接，向待访问平台发送访问请求；在接收到待访问平台根据访问请求作出的响应后，抓取第一URL链接对应的页面中的数据信息；对数据信息进行解析，得到页面中内嵌的第二URL链接，并将第二URL链接添加到待爬取URL队列；采用链接特征的计数布隆过滤器，并结合多重哈希对待爬取URL队列中的第二URL链接进行联合去重。本发明通过对链接去重方式的优化来改善网络爬虫的性能，从而保证网络爬虫能够快速的获取人们所需的信息，提升用户体验。 | ||
| 搜索关键词： | 基于 网络 爬虫 链接 方法 装置 设备 存储 介质 | ||
【主权项】：
1.一种基于网络爬虫的链接去重方法，其特征在于，所述方法包括以下步骤：在接收到待分析农产品的数据抓取请求时，从所述数据抓取请求中提取待访问平台的第一统一资源定位符URL链接；根据所述第一URL链接，向所述待访问平台发送访问请求；在接收到所述待访问平台根据所述访问请求作出的响应后，抓取所述第一URL链接对应的页面中的数据信息；对所述数据信息进行解析，得到所述页面中内嵌的第二URL链接，并将所述第二URL链接添加到待爬取URL队列；采用链接特征的计数布隆过滤器，并结合多重哈希对所述待爬取URL队列中的所述第二URL链接进行联合去重。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中南民族大学，未经中南民族大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910670803.0/，转载请声明来源钻瓜专利网。
