[发明专利]网页爬取方法、装置以及计算机设备在审
| 申请号： | 201911173972.X | 申请日： | 2019-11-26 |
| 公开（公告）号： | CN112948654A | 公开（公告）日： | 2021-06-11 |
| 发明（设计）人： | 唐君行 | 申请（专利权）人： | 上海哔哩哔哩科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955 |
| 代理公司： | 北京英特普罗知识产权代理有限公司 11015 | 代理人： | 邓小玲;王勇 |
| 地址： | 200433 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网页爬取方法，该方法包括：爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。本发明还提供一种网页爬取装置、计算机设备以及计算机可读存储介质。本发明能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。 | ||
| 搜索关键词： | 网页 方法 装置 以及 计算机 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司，未经上海哔哩哔哩科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911173972.X/，转载请声明来源钻瓜专利网。
