[发明专利]爬虫程序的调度方法、调度装置、服务器和存储介质

说明书

本申请涉及一种爬虫程序的调度方法、调度装置、服务器和存储介质。所述方法包括：获取代理节点的性能指标数据；其中，代理节点为用于执行待调度爬虫程序的网络节点，性能指标数据表征代理节点在当前运行状态下执行爬虫程序时的性能裕度；基于性能指标数据，确定代理节点分别执行多个待调度爬虫程序的性能损耗数据；其中，性能损耗数据表征代理节点在当前运行状态下执行爬虫程序时关于性能裕度的损耗程度；基于性能指标数据和性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，并将目标爬虫程序调度至代理节点。采用本方法能够增强对爬虫程序进行分配调度的合理性和有效性，提升执行爬虫程序时的执行效率和执行质量。

技术领域

本申请涉及计算机技术领域，特别是涉及一种爬虫程序的调度方法、爬虫程序的调度装置、服务器、存储介质和计算机程序产品。

背景技术

当前被开发的许多的网络业务系统需要执行多种多样的网络爬虫程序，当网络业务系统待执行的网络爬虫程序逐渐复杂且数量较多的时候就需要对各个网络爬虫程序进行分布式调度，以通过对网络爬虫程序的合理调度来减少代理节点执行网络爬虫程序时的如耗时久、负载大、以及错误率等问题。

在当前对网络爬虫程序进行分布式调度的方式中，由于仅仅是根据不同网络爬虫程序的大小和运行类型，来选择对应的代理节点来执行。因此，在代理节点的运行性能较差或者较优的情况下，对于各种网络爬虫程序无法给出合理的分布式调度，导致代理节点对不同的网络爬虫程序的执行效率不高以及执行质量不优。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升调度网络任务的合理性和执行效率的网络任务的处理方法、装置、服务器和存储介质。

根据本公开实施例的第一方面，提供一种网络任务的处理，包括：

获取代理节点的性能指标数据；所述性能指标数据表征所述代理节点在当前运行状态下用于执行爬虫程序的性能裕度；

基于所述性能指标数据，预测所述代理节点用于执行各个待调度爬虫程序时的性能损耗数据；所述性能损耗数据表征所述代理节点在当前运行状态下用于执行各个待调度爬虫程序时关于所述性能裕度的损耗程度；

基于所述性能指标数据和所述性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，并将所述目标爬虫程序调度至所述代理节点。

在一示例性实施例中，所述基于所述性能指标数据和所述性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，包括：

基于所述性能指标数据与各所述待调度爬虫程序对应的性能损耗数据，确定所述代理节点在用于执行各所述待调度爬虫程序时的剩余性能裕度；所述剩余性能裕度表征所述性能裕度的剩余程度；

基于各所述待调度爬虫程序对应的剩余性能裕度与预设的参考性能裕度，在所述多个待调度爬虫程序中确定出目标爬虫程序。

在一示例性实施例中，所述基于各所述待调度爬虫程序对应的剩余性能裕度与预设的参考性能裕度，在所述多个待调度爬虫程序中确定出目标爬虫程序，包括：

在各所述待调度爬虫程序中，将对应所述剩余性能裕度大于所述参考性能裕度的待调度爬虫程序作为候选爬虫程序；

在所述候选爬虫程序中，确定预设数量个爬虫程序作为所述目标爬虫程序；

其中，所述预设数量个爬虫程序对应的约束条件包括：在所述代理节点同时执行所述预设数量个爬虫程序时所对应总剩余性能裕度大于所述参考性能裕度。

在一示例性实施例中，所述将所述目标爬虫程序调度至所述代理节点，包括：

确定所述目标爬虫程序的程序状态；

在所述程序状态表征所述目标爬虫程序未被所述代理节点执行的情况下，将所述目标爬虫程序调度至所述代理节点。