[发明专利]作业调度方法及装置、存储介质及电子设备

说明书

本申请提供了一种作业调度方法及装置、存储介质及电子设备，该方法包括：获取待处理作业，并计算待处理作业的执行时长；基于待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于待处理作业的优先级；控制目标任务停止运行，并运行待处理作业。可见，本申请方案，通过计算待处理作业的执行时长，从当前运行的优先级比待处理作业的优先级低的作业中，选取与执行时长相匹配的任务进行停止，而不是直接停止当前正在运行的优先级低的所有作业所包括的任务，从而避免资源的浪费。

技术领域

本申请涉及数据处理领域，尤其涉及一种作业调度方法及装置、存储介质及电子设备。

背景技术

在现有的大数据系统中，通常使用优先级进行作业调度，当接收到高优先级作业时下，往往直接停止当前正在运行的优先级低的所有作业所包括的任务，以腾出资源启动高优先级作业。然而，直接停止所有优先级低的作业，可能会存在资源过剩的情况，并且，对于所停止的作业中已经运行的任务，停止后需要从头开始执行，从而造成资源浪费。

发明内容

本申请提供了一种作业调度方法及装置、存储介质及电子设备，目的在于解决现有技术中，当接收到高优先级作业时下，直接停止当前正在运行的优先级低的所有作业所包括的任务，造成资源。

为了实现上述目的，本申请提供了以下技术方案：

一种作业调度方法，包括：

获取待处理作业，并计算所述待处理作业的执行时长；

基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于所述待处理作业的优先级；

控制所述目标任务停止运行，并运行所述待处理作业。

上述的方法，可选的，所述计算所述待处理作业的执行时长，包括：

计算所述待处理作业与预设的历史作业库包括的每个历史作业的相似度；

将所述历史作业库中与所述待处理作业相似度最高的历史作业确定为目标历史作业；

基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长。

上述的方法，可选的，所述计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度，包括：

获取所述待处理作业的作业量和资源分配信息；

基于所述待处理作业的作业量和资源分配信息，计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度。

上述的方法，可选的，所述基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长，包括：

获取所述目标历史作业的执行时长，计算所述目标历史作业的吞吐量；

基于所述目标历史作业的吞吐量和所述待处理作业的作业量，计算所述待处理作业的执行时长。

上述的方法，可选的，所述基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务，包括：

基于所述待处理作业的优先级，从当前处于运行状态的作业中选取优先级低于所述待处理作业的优先级的作业组成作业集合；

将所述作业集合中优先级最低的作业作为目标作业；

初始化预设的待关停任务量；

将所述目标作业包括的任务中与所述待关停任务量相匹配的任务确定为待关停任务；