[发明专利]一种任务调度方法、系统、设备以及介质

说明书

本发明公开了一种任务调度方法，包括以下步骤：响应于接收到任务，对任务携带的标签进行识别，以将任务分配到与标签对应的第一队列；利用第一队列对任务进行资源调度，以利用第一队列对应的多个节点的资源对构成任务的多个子任务进行处理；响应于利用多个节点中的与多个第一队列相对应的节点处理子任务，利用该节点上预先创建的第二队列对子任务进行资源调度。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够使得每一个节点接收多个第一队列分配的不同种类型的子任务，即实现一个节点能够处理多种标签对应的任务，进而保障集群资源的更高效使用。

技术领域

本发明涉及任务调度领域，具体涉及一种任务调度方法、系统、设备以及存储介质。

背景技术

在计算时代，调度器起着非常重要的作用。合理的调度既能够使任务运行的更快更高效，又能使资源能够最大化的利用。目前大数据调度组件中，yarn调度器可谓独树一帜，yarn可为各类计算框架提供资源的管理和调度，主要用于管理集群当中的资源(主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等)以及调度运行在yarn上面的各种任务。Yarn提供了多种方式进行资源任务的调度，常见的有FIFO Scheduler、CapacityScheduler、Fair Scheduler以及标签调度和优先级调度。其中基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。但是这种标签调度缺乏灵活性，每个节点最多只能绑定一个标签，如果某台主机即可调度cpu密集型任务也可调度内存密集型任务，以cpu或内存作为标签的话，势必会存在一方无法被充分利用。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种任务调度方法，包括以下步骤：

响应于接收到任务，对所述任务携带的标签进行识别，以将所述任务分配到与所述标签对应的第一队列；

利用所述第一队列对所述任务进行资源调度，以利用所述第一队列对应的多个节点的资源对构成所述任务的多个子任务进行处理；

响应于利用所述多个节点中的与多个所述第一队列相对应的节点处理所述子任务，利用该节点上预先创建的第二队列对所述子任务进行资源调度。

在一些实施例中，还包括：

为每一个所述节点分别绑定若干种标签，并分别为每一种标签创建对应的第一队列，以使所述每一个节点与一个或多个所述第一队列相对应；

响应于存在绑定的标签的数量大于预设值的节点，在所述绑定的标签的数量大于预设值的节点上创建第二队列。

在一些实施例中，还包括：

为每一个所述第一队列和所述第二队列分别设置调度策略，以根据对应的所述调度策略对所述第一队列中的多个任务和/或所述第二队列中的多个子任务进行资源调度。

在一些实施例中，利用所述第一队列对所述任务进行资源调度，以利用所述第一队列对应的多个节点的资源对构成所述任务的多个子任务进行处理，进一步包括：

根据所述调度策略确定所述第一队列中每一个任务的调度顺序。

在一些实施例中，响应于利用所述多个节点中的与多个所述第一队列相对应的节点处理所述子任务，利用该节点上预先创建的第二队列对所述子任务进行资源调度，进一步包括：

根据所述调度策略确定为与所述节点相对应的每一个第一队列分配的总资源；

利用为与所述子任务对应的第一队列分配的总资源为所述子任务进行资源调度。

在一些实施例中，利用所述第一队列对应的多个节点的资源对构成所述任务的多个子任务进行处理，进一步包括：

获取每一个节点的资源利用率；