[发明专利]分布式网络爬虫任务的调度方法及装置

说明书

本发明提供一种分布式网络爬虫任务的调度方法及装置，方法包括：获取分布式网络中每个爬虫节点的处理能力；按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得爬虫节点对所分配的待处理任务进行处理。本发明提供的分布式网络爬虫任务的调度方法及装置，按照预设的优先级顺序并根据每个爬虫节点的处理能力为爬虫节点分配相应数量的待处理任务，实现了对爬虫节点的有效管理，并且保证了每个爬虫节点按照自身处理能力对所分配的待处理任务进行处理的效率，进而提高了该调度方法的实用性。

技术领域

本发明涉及爬虫节点技术领域，尤其涉及一种分布式网络爬虫任务的调度方法及装置。

背景技术

大数据时代，数据的价值不言而喻，搜索引擎、舆情系统、比价系统等都是以获取大量数据为基础的，故爬虫节点成为不可或缺的重要组成部分。随着互联网的发展，信息和知识正在呈爆炸式增长，这给爬虫节点带来了更高的挑战。单节点爬虫结构已无法满足需求，分布式爬虫节点应运而生。

分布式爬虫节点由多个爬虫节点组成，按照通信方式不同可分为主从模式、自治模式与混合模式。其中主从模式方式，是指由一台主机作为调度端负责所有运行的爬虫节点进行管理，爬虫节点只需要从调度端那里接收抓取任务，并把新生成抓取任务提交给调度端再分配就可以了，在这个过程中不必与其他爬虫通信，这种方式实现简单明晰且有利于管理。

在现有技术中，通过共享任务目录实现分布式爬虫任务的协同任务调度，然而，上述任务调度方式缺乏对爬虫节点的统一管理，且缺少基于不同任务对资源的需求而对爬虫节点进行分别管理，从而未实现对网络爬点的有效管理，进而降低了网络爬点的任务处理效率。

发明内容

本发明提供一种分布式网络爬虫任务的调度方法及装置，可以有效地克服现有技术中存在的未实现对网络爬点的有效管理，进而降低了网络爬点的任务处理效率的问题。

本发明的一方面提供了一种分布式网络爬虫任务的调度方法，包括：

获取分布式网络中每个爬虫节点的处理能力；

按照预设的所述优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得所述爬虫节点对所分配的待处理任务进行处理。

本发明的另一方面提供了一种分布式网络爬虫任务的调度装置，包括：

获取模块，用于获取分布式网络中每个爬虫节点的处理能力；

分配模块，用于按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得所述爬虫节点对所分配的待处理任务进行处理。

本发明提供的分布式网络爬虫任务的调度方法及装置，通过按照预设的优先级并根据每个爬虫节点的处理能力为爬虫节点分配相应数量的待处理任务，实现了对爬虫节点的有效管理，并且保证了每个爬虫节点按照自身处理能力对所分配的待处理任务进行处理的效率，进而提高了该调度方法的实用性，有利于市场的推广与应用。

附图说明

图1为本发明一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；

图2为本发明另一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；

图3为本发明又一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；

图4为本发明再一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；

图5为本发明又一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；

图6为本发明再一实施例提供的一种分布式网络爬虫任务的调度方法的流程示意图；