[发明专利]一种动态检测失效流量的网络爬虫方法有效
| 申请号： | 202110086472.3 | 申请日： | 2021-01-22 |
| 公开（公告）号： | CN112765437B | 公开（公告）日： | 2022-05-17 |
| 发明（设计）人： | 秦康;赵小敏 | 申请（专利权）人： | 浙江工业大学 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/906;G06F16/955;G06F16/22;G06N3/04;G06N3/08 |
| 代理公司： | 杭州之江专利事务所(普通合伙) 33216 | 代理人： | 张慧英 |
| 地址： | 310014 浙*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种动态检测失效流量的网络爬虫方法，包括以下步骤，首先通过分析网络请求信息构建动态检测失效流量模型的数据集，然后设计出动态检测失效流量的方法，接着对URL队列中的信息进行读取并且对Cookie等信息进行封装后发送请求，提取返回数据信息，并对返回数据信息进行失效流量检测，最后对重复返回数据信息进行处理，如是有效数据则持久化存储。本发明弥补了现有聚焦爬虫和增量爬虫在Cookie失效问题的处理上和数据重复处理上的不足之处，降低了爬取数据的失效和重复概率，对爬虫系统的设计提供了可借鉴的方案，提高了爬虫系统的整体性能。 | ||
| 搜索关键词： | 一种 动态 检测 失效 流量 网络 爬虫 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江工业大学，未经浙江工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110086472.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种精密压力调节阀
- 下一篇：一种高散热多通道扁管冷凝器自动化加工设备
