[发明专利]一种分布式爬虫的调度管理方法有效
| 申请号： | 201811620979.7 | 申请日： | 2018-12-28 |
| 公开（公告）号： | CN109522469B | 公开（公告）日： | 2023-06-06 |
| 发明（设计）人： | 杨胜华;宋设 | 申请（专利权）人： | 浪潮软件集团有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F9/48 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 冯春连 |
| 地址： | 250100 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种分布式爬虫的调度管理方法，属于调度管理技术领域，该方法将爬虫进程调度和爬虫任务调度包装在爬虫心跳中，将心跳信息反馈给基于zookeeper集群搭建的中心节点，通过中心节点判断是否有调度节点或心跳节点发生异常，在有调度节点或心跳节点发生异常时，中心节点进行调度节点或心跳节点的调度管理，解决现有调度管理方法在调度节点宕机时不能及时调整与所对应的爬虫节点的链接，造成爬虫节点资源的浪费的问题，同时，解决现有调度管理方法在爬虫节点宕机时不能及时释放调度节点的连接，造成调度节点程序的资源浪费的问题。 | ||
| 搜索关键词： | 一种 分布式 爬虫 调度 管理 方法 | ||
【主权项】：
1.一种分布式爬虫的调度管理方法，其特征在于，该方法将爬虫进程调度和爬虫任务调度包装在爬虫心跳中，将心跳信息反馈给基于zookeeper集群搭建的中心节点，通过中心节点判断是否有调度节点或心跳节点发生异常，在有调度节点或心跳节点发生异常时，中心节点进行调度节点或心跳节点的调度管理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮软件集团有限公司，未经浪潮软件集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811620979.7/，转载请声明来源钻瓜专利网。
