[发明专利]分布式网络爬虫任务的调度方法及装置

权利要求书

1.一种分布式网络爬虫任务的调度方法，其特征在于，包括：

获取分布式网络中每个爬虫节点的处理能力；

按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得所述爬虫节点对所分配的待处理任务进行处理；

所述的方法还包括：

根据每个爬虫节点的处理能力确定所述分布式网络的最大并发访问量；

获取所述待处理任务，并根据所获取的待处理任务确定待处理任务量；

若所获取的待处理任务量大于或者等于所述最大并发访问量，则停止获取所述待处理任务；或者，

若所获取的待处理任务量小于所述最大并发访问量，则继续获取所述待处理任务；

按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得所述爬虫节点对所分配的待处理任务进行处理，具体包括：

若所述爬虫节点的未分配任务时间大于预设的时间阈值，则优先为该爬虫节点按照所述优先级由高到低的顺序分配所述待处理任务；或者，

若所述爬虫节点的负载信息小于预设的负载阈值，则继续按照所述优先级由高到低的顺序为所述爬虫节点分配所述待处理任务；或者，

若所述爬虫节点的负载信息大于或等于预设的负载阈值，则向其他爬虫节点按照所述优先级由高到低的顺序分配所述待处理任务；

其中，所分配的待处理任务所需要的处理能力小于所述爬虫节点的处理能力。

2.根据权利要求1所述的方法，其特征在于，所述获取分布式网络中每个爬虫节点的处理能力，具体包括：

按照预设的时间周期向每个爬虫节点发送心跳请求，以使得所述爬虫节点根据所述心跳请求发送所述爬虫节点的处理能力；

接收所述爬虫节点发送的处理能力，其中，所述处理能力包括以下至少之一：下载能力、解析能力、负载信息、内存信息、未分配任务时间、处理正确率和处理时间。

3.根据权利要求2所述的方法，其特征在于，在按照预设的时间周期向每个爬虫节点发送心跳请求之后，所述方法还包括：

在预设时间段内，若未收到所述爬虫节点发送的处理能力，则确定所述爬虫节点的未响应信息，其中，所述未响应信息包括：未响应时间信息和未响应次数信息；

若所述未响应次数信息大于预设的次数阈值信息，则按照预设的调整策略调整所述爬虫节点的处理能力。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在预设的时间段内，根据所述处理正确率和处理时间对所述爬虫节点进行管理；

若所述爬虫节点对第一数量的待处理任务进行处理的处理时间大于预设的时间阈值，则将该爬虫节点删除，其中，所述第一数量大于预设的第一数量阈值；和/或，

若所述爬虫节点对第二数量的待处理任务进行处理的处理正确率小于预设的正确率阈值，则将该爬虫节点删除，其中，所述第二数量大于预设的第二数量阈值。