[发明专利]分布式爬虫系统中任务管理器的分配方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式爬虫系统中任务管理器的分配方法及系统。

背景技术

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫实际是一种网络信息抓取的应用程序，现有的网络爬虫抓取数据量大，任务的分配的任务管理器为随机分配的，其可能影响任务分配的效率，影响爬虫的效率。

发明内容

本申请提供一种分布式爬虫系统中任务管理器的分配方法。其解决现有技术的技术方案效率低的缺点。

一方面，提供一种分布式爬虫任务分配方法，所述方法包括如下步骤：

分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。

可选的，所述方法还包括：

分布式设备获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。

可选的，所述方法还包括：

时延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)为第一设备返回数据包A的确认消息的接收时间，t_1a为数据包A向第一设备的发送时间。

第二方面，提供一种分布式爬虫任务分配系统，所述系统包括：多个分布式设备，所述多个分布式设备包括第一分布式设备和其他N个分布式设备；

第一分布式设备，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息；

其他N个分布式设备，用于获取本地的时延和，将该本地时延和发送给第一分布式设备。

可选的，所述分布式设备，还用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。

可选的，所述分布式设备，还用于时延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)为第一设备返回数据包A的确认消息的接收时间，t_1a为数据包A向第一设备的发送时间。

第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，

所述无线收发器，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；

所述处理器，用于将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。

可选的，所述处理器，用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。