[发明专利]分布式爬虫系统中任务管理器的分配方法及系统

权利要求书

1.一种分布式爬虫系统中任务管理器的分配方法，其特征在于，所述方法包括如下步骤：

分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；

分布式设备将N个数据包依次发送给分布式设备的其他M个设备；

分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；

分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；

分布式设备按M个时延和平均值倒序向M个设备发送所述分配消息。

2.根据权利要求1所述的方法，其特征在于，所述分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值包括：

分布式设备获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。

3.根据权利要求1所述的方法，其特征在于，所述时延的获取方式，包括：

时延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)为第一设备返回数据包A的确认消息的接收时间，t_1a为数据包A向第一设备的发送时间。

4.一种分布式爬虫任务分配系统，其特征在于，所述系统包括：多个分布式设备，所述多个分布式设备包括第一分布式设备和其他N个分布式设备；

第一分布式设备，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息；

其他N个分布式设备，用于获取本地的时延和，将该本地时延和发送给第一分布式设备。

5.根据权利要求4所述的系统，其特征在于，

所述第一分布式设备，还用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。

6.根据权利要求4所述的方法，其特征在于，

所述第一分布式设备，还用于时延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)为第一设备返回数据包A的确认消息的接收时间，t_1a为数据包A向第一设备的发送时间。

7.一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，其特征在于，

所述无线收发器，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；

所述处理器，用于将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。

8.根据权利要求7所述的服务器，其特征在于，所述处理器，用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。