[发明专利]分布式爬虫系统中任务管理器的分配方法及系统在审
| 申请号： | 201711000607.X | 申请日： | 2017-10-24 |
| 公开（公告）号： | CN107800789A | 公开（公告）日： | 2018-03-13 |
| 发明（设计）人： | 马岩 | 申请（专利权）人： | 麦格创科技（深圳）有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24;G06F9/50 |
| 代理公司： | 深圳市科冠知识产权代理有限公司44355 | 代理人： | 王海骏 |
| 地址： | 518000 广东省深*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式爬虫系统中任务管理器的分配方法，所述方法包括如下步骤分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；分布式设备接收其他设备发送的投票消息，该投票消息包括票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。本发明提供的技术方案具有效率高的优点。 | ||
| 搜索关键词： | 分布式 爬虫 系统 任务 管理器 分配 方法 | ||
【主权项】：
一种分布式爬虫系统中任务管理器的分配方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；分布式设备从M+1个时延和平均值中选择时延和最小的设备作为任务管理器。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于麦格创科技（深圳）有限公司，未经麦格创科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711000607.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于媒体网关的呼叫用户区域定位方法
- 下一篇：一种统一数据服务系统及方法
