[发明专利]一种数据任务的调度方法、装置、设备及可读存储介质

说明书

本发明公开了一种数据任务的调度方法，首先以预定义规则从各数据任务中选取待执行数据任务，然后确定每个待执行数据任务在执行时所需的占用资源，其次，根据占用资源确定集群空闲资源能运行的待执行数据任务数量最多的方案，最后将方案中包含的待执行数据任务作为目标数据任务并执行。因此，根据集群空闲资源的空闲情况确定其能容纳最多的待执行数据任务的数量，从而提高了集群空闲资源的利用率和数据任务的执行效率。同时，由于集群空闲资源中能执行最多数量的数据任务，在提高各数据任务并行度的同时，缩短了所有数据任务在集群上持续运行的总时长。本发明还公开了一种数据任务的调度装置、设备及可读存储介质同样能实现上述技术效果。

技术领域

本发明涉及大数据领域，特别涉及一种数据任务的调度方法、装置、设备可读存储介质。

背景技术

随着互联网技术的飞速发展，大数据时代也随之到来，许多应用后台的大数据中心的数据量达数百亿条，面对如此庞大的待分析数据，对数据进行有效快速的分析显得尤为重要。

传统的对待分析数据的数据任务是通过优先级策略将数据任务进行排序，将数据任务由高优先级至低优先级依次执行，但是，采用该方法虽然保证了优先级高的任务被优先执行，但是，由于采用优先级策略会按高优先级的数据任务至低优先级的数据任务依次执行，当高优先级数据任务为多个时，虽然根据集群空闲资源也能运行多个高优先级的数据任务，但是不能保证集群空闲资源被高效利用，例如，集群空闲资源为120MB。此时，高优先级的数据任务有5个，每个高优先级数据任务运行时所需资源为50MB、40MB、40MB、40MB、40MB时，则当前集群空闲资源能运行的数据任务能运行三个40MB的数据任务或者运行50MB和40MB的数据任务，但是。此时，运行三个40MB的数据任务还是运行50MB和40MB的数据任务是随机确定的，当集群空闲资源选择运行50MB和40MB的数据任务时，则还有30MB处于空闲，则会导致集群空闲资源的利用率较低并且数据任务的执行效率较低，并且，由于运行的数据任务数量较少即运行的数据任务的并行度较低，导致所有数据任务在集群上持续运行的时长较长。

因此，如何提高数据任务在执行时的集群资源利用率、数据任务的执行效率以及减少执行所有数据任务在集群上持续运行的时长是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据任务的调度方法、装置、设备及可读存储介质，提高了数据任务在执行时的集群资源利用率、数据任务的执行效率以及减少执行所有数据任务在集群上持续运行的时长。

为实现上述目的，本发明实施例提供了如下技术方案：

本发明实施例提供了一种基于大数据集群的数据任务调度方法，包括：

以预定义规则从各数据任务中选取待执行数据任务；

确定各所述待执行数据任务在执行时所需的占用资源；

根据与各所述待执行数据任务对应的所述占用资源确定集群空闲资源能运行的所述待执行数据任务数量最多的方案；

将所述方案中包含的所述待执行数据任务作为目标数据任务并执行。

优选的，所述以预定义规则从各数据任务中选取待执行数据任务包括：

将各所述数据任务以预定策略组成数据任务关系图，所述数据任务关系图具有起始数据任务和终点数据任务；

判断各所述数据任务是否满足与各所述数据任务对应的执行条件；

若是，则将满足所述执行条件的数据任务作为所述预定待执行数据任务，并从所述预定待执行数据任务中选取所述待执行数据任务。优选的，所述从所述预定待执行数据任务中选取所述待执行数据任务包括：