[发明专利]分布式爬虫的调度处理方法、装置及设备在审
| 申请号： | 202010190446.0 | 申请日： | 2020-03-18 |
| 公开（公告）号： | CN111522654A | 公开（公告）日： | 2020-08-11 |
| 发明（设计）人： | 杨绍琛 | 申请（专利权）人： | 大箴（杭州）科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F16/951;G06F16/955 |
| 代理公司： | 北京中强智尚知识产权代理有限公司 11448 | 代理人： | 黄耀威;贾依娇 |
| 地址： | 310000 浙江省*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种分布式爬虫的调度处理方法、装置及设备，涉及互联网技术领域。其中方法包括：首先将数据源网站各自对应的待爬取URL任务分配给各个子集群，其中，所述子集群各自专注于一个数据源网站的爬取，并消耗各自被分配到的代理池消耗带宽；然后在爬取数据源网站的过程中，获取各个所述子群集的动态采集速度；根据所述动态采集速度，更新各个所述子集群的服务器数量和代理池消耗带宽。本申请可根据不同采集源的采集速度，动态计算出最合理的集群资源配置，实现高效的分布式爬虫解决方案，更加合理的利用硬件资源以提高整个集群的采集效率。本申请适用于分布式爬虫的调度处理。 | ||
| 搜索关键词： | 分布式 爬虫 调度 处理 方法 装置 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于大箴（杭州）科技有限公司，未经大箴（杭州）科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010190446.0/，转载请声明来源钻瓜专利网。
