[发明专利]计算任务调度方法、装置、电子设备和存储介质

说明书

本公开提供了一种计算任务调度方法、装置、电子设备和计算机可读存储介质，涉及通信领域。其中，计算任务调度方法包括：获取待调度的计算任务的资源需求量；获取节点列表中每个工作节点的资源剩余量；在检测到工作节点的资源剩余量和资源需求量均不匹配时，基于工作节点的资源剩余量、资源需求量以及预设的任务调度阈值数组之间的关系，确定节点列表中与计算任务适配的适配节点；将计算任务调度至适配节点，其中，任务调度阈值数组基于历史任务的资源使用量确定。通过本公开的技术方案，将计算任务调度至适配节点，实现对计算任务的调度，以使计算任务进行合理分配，进而提高工作节点的资源利用率，从而有利于提升计算任务的处理效率。

技术领域

本公开涉及通信领域，尤其涉及一种计算任务调度方法、装置、电子设备和计算机可读存储介质。

背景技术

深度学习(DL，Deep Learning)的计算任务主要依赖于服务器中的GPU(GraphicProcessing Unit，图形处理单元)。但是由于GPU计算成本高，因此在进行计算任务分配时，需要使GPU资源得到充分利用。

相关技术中，在基于GPU进行计算任务的调度时，通常将计算任务调度到资源剩余最多的GPU上运行，这样的调度方式易使计算任务所需的GPU资源与GPU实际剩余的资源相差较大，导致GPU的资源利用率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种计算任务调度方法、装置、电子设备和计算机可读存储介质，至少在一定程度上能够改善相关技术中的方式导致的GPU的资源利用率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种计算任务调度方法，包括：获取待调度的计算任务的资源需求量；获取节点列表中每个工作节点的资源剩余量；在检测到所述工作节点的资源剩余量和所述资源需求量均不匹配时，基于所述工作节点的资源剩余量、所述资源需求量以及预设的任务调度阈值数组之间的关系，确定所述节点列表中与所述计算任务适配的适配节点；将所述计算任务调度至所述适配节点，其中，所述任务调度阈值数组基于历史任务的资源使用量确定。

在一个实施例中，所述基于所述工作节点的资源剩余量、所述资源需求量以及所述任务调度阈值数组之间的关系，确定所述节点列表中与所述计算任务适配的适配节点包括：基于所述节点列表中的工作节点排列顺序，逐一检测资源差值与所述任务调度阈值数组之间是否满足调度规则，所述资源差值为所述工作节点的资源剩余量与所述资源需求量之间的差值；在检测到所述资源差值与所述任务调度阈值数组之间满足所述调度规则时，将与所述资源差值对应的所述工作节点确定为所述第一适配节点，其中，所述调度规则用于将工作节点的资源利用率配置为大于比率阈值。

在一个实施例中，在获取待调度的计算任务的资源需求量之前，还包括：基于所述历史任务的资源使用量确定上限阈值和下限阈值；确定所述上限阈值与所述下限阈值之间的中间值；基于所述上限阈值、所述中间值和所述下限阈值配置所述任务调度阈值数组。

在一个实施例中，所述在检测到所述资源差值与所述任务调度阈值数组之间满足所述调度规则时，将与所述资源差值对应的所述工作节点确定为所述第一适配节点包括：在检测到所述资源差值大于所述上限阈值时，确定所述资源差值与所述任务调度阈值数组之间满足所述调度规则，并将与所述资源差值对应的所述工作节点确定为所述第一适配节点。