[发明专利]资源调度方法、装置、电子设备及存储介质

说明书

本公开涉及一种资源调度方法、装置、电子设备和存储介质，方法包括：资源管理器接收携带作业运行所需的资源容器数量的资源请求，响应资源请求并将资源分配结果发送至作业的应用管理器，该分配结果包括为作业分配的资源容器所在节点的节点信息和资源容器信息；应用管理器基于资源分配结果与对应节点的节点管理器通信以启动分配的资源容器；应用管理器判断已启动的资源容器数量是否满足作业运行所需的资源容器数量；若是则向所有已启动的资源容器发送作业运行指令以运行作业。这样只有在已启动的资源容器数量满足作业所需资源容器数量的情况下，才会启动运行作业，从而能够保证作业拿到全部的资源之后才刚性拉起作业，实现了YARN上的刚性调度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种资源调度方法、资源调度装置、实现资源调度方法的电子设备和计算机可读存储介质。

背景技术

YARN(Yet Another Resource Negotiator，另一种资源协调器)是一种通用的资源管理系统，可以为MapReduce(一种编程模型)、Spark(一种为大规模数据处理而设计的快速通用的计算引擎)等多种计算框架提供资源管理和分配。YARN由RM(Resource Manager，资源管理器)和多个NM(Node Manager，节点管理器)组成，RM负责对各个NM上的资源进行管理和调度。Container(资源容器)是YARN中的资源抽象，封装了一个NM上的多维度资源，如内存、CPU(Central Processing Unit，中央处理单元)、磁盘、网络等。通过向RM申请，由RM选择合适的NM分配并启动Container，来执行相应的作业。

TensorFlow(一个基于数据流编程的符号数学架构)、PyTorch(一种开源的机器学习库)等机器学习框架作为一种特殊的计算框架，也可以运行于YARN上。机器学习框架的一个常见需求就是刚性调度，即一个作业需要获取到所有的资源之后才可以运行。

但是，目前YARN上无法做到刚性调度，尤其是出现多个作业同时运行的需求时，目前YARN的资源分配策略会使得每个作业只能拿到一部分资源，导致这些作业都不能正常运行。

发明内容

本公开实施例的目的在于提供一种资源调度方法、资源调度装置、实现资源调度方法的电子设备和计算机可读存储介质，以实现YARN上的刚性调度。

第一方面，本公开提供了一种资源调度方法，该方法包括：

资源管理器接收资源请求，所述资源请求携带作业运行所需的资源容器数量；

资源管理器响应所述资源请求，并将资源分配结果发送至所述作业对应的应用管理器，所述资源分配结果包括为所述作业分配的资源容器所在节点的节点信息和资源容器信息；

所述应用管理器向所述节点信息指示的节点的节点管理器发送所述资源容器信息，以使所述节点管理器启动分配的资源容器；

所述应用管理器判断已启动的所述资源容器数量是否满足所述作业运行所需的资源容器数量；

若满足，则应用管理器向所有已启动的所述资源容器发送作业运行指令，以运行所述作业。

可选的，在本公开的一些实施例中，所述方法还包括：

当已启动的所述资源容器数量不满足所述作业运行所需的资源容器数量时，所述应用管理器向所述资源管理器发送新的资源请求；

所述资源管理器响应所述新的资源请求返回新的资源分配结果至所述应用管理器，所述新的资源分配结果包括为所述作业分配的新的资源容器所在节点的节点信息和新的资源容器信息；

所述应用管理器向所述新的资源容器所在节点的节点信息指示的目标节点的节点管理器发送所述新的资源容器信息，以使所述目标节点的节点管理器启动分配的新的资源容器；