[发明专利]一种网络爬虫代理隧道的负载均衡调度及异常重试方法在审
申请号: | 202010019709.1 | 申请日: | 2020-01-08 |
公开(公告)号: | CN111240839A | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 李博;龙永超 | 申请(专利权)人: | 中联财联网科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F16/951 |
代理公司: | 北京劲创知识产权代理事务所(普通合伙) 11589 | 代理人: | 徐家升 |
地址: | 100032 北京市西城区复兴*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种网络爬虫代理隧道的负载均衡调度及异常重试方法,属于网络搜索技术领域,适用于通过多条代理隧道进行分布式爬取网页信息的场景。本发明提供一种网络爬虫代理隧道的负载均衡调度及异常重试方法,有效提升代理隧道资源的利用率,大大降低高并发情形下网页访问的失败率,显著地缩短了任务爬取时间。 | ||
搜索关键词: | 一种 网络 爬虫 代理 隧道 负载 均衡 调度 异常 重试 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中联财联网科技有限公司,未经中联财联网科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010019709.1/,转载请声明来源钻瓜专利网。