[发明专利]一种高效IP代理池的实现方法、系统及数据获取方法在审
申请号: | 202010544272.3 | 申请日: | 2020-06-15 |
公开(公告)号: | CN111741141A | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 李广;朱显申 | 申请(专利权)人: | 重庆帮企科技集团有限公司 |
主分类号: | H04L29/12 | 分类号: | H04L29/12;G06F16/955;G06F16/951;G06F9/54 |
代理公司: | 重庆强大凯创专利代理事务所(普通合伙) 50217 | 代理人: | 隋金艳 |
地址: | 401121 重庆市渝北区龙塔*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及IP代理技术领域,具体为一种高效IP代理池的实现方法、系统及数据获取方法,高效IP代理池的实现方法,包括:读取待爬取的URL并将待爬取的URL编排成任务加入任务队列中;采集爬虫到任务队列中获取任务并执行,将获取到的代理IP存入初始队列中;对初始队列中的代理IP进行校验,过滤不可用代理IP,并将可用代理IP加入到有效队列中;定时从有效队列中获取代理IP并存入一个校验队列中,并从校验队列中获取代理IP进行校验,根据校验结果将代理IP删除或放回有效队列中;根据客户端请求,为客户端分配代理IP。本申请的一种高效IP代理池的实现方法、系统及数据获取方法,能够解决现有IP代理池内的代理IP存在的有效性、稳定性差的问题。 | ||
搜索关键词: | 一种 高效 ip 代理 实现 方法 系统 数据 获取 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆帮企科技集团有限公司,未经重庆帮企科技集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010544272.3/,转载请声明来源钻瓜专利网。
- 上一篇:一种稠油降粘剂、其制备方法及其应用
- 下一篇:一种汽车后悬架装置分装台