[发明专利]任务时间预测模型的训练方法、任务调度方法及相关装置

说明书

本申请公开了一种任务时间预测模型的训练方法、任务调度方法及相关装置，其中，所述任务时间预测模型的训练方法包括：将历史任务的任务信息转换为灰度图像；其中，所述任务信息包括任务运行指令、任务所需的资源以及任务运行的代码；将所述灰度图像输入任务时间预测模型，输出所述历史任务对应的预测运行时间；基于所述历史任务对应的预测运行时间和实际运行时间之间的差异，调整所述任务时间预测模型的网络参数。上述方案，能够提高资源利用率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务时间预测模型的训练方法、任务调度方法及相关装置。

背景技术

许多公司的业务都包含大量的深度学习模型，而深度学习模型一般都需要GPU这种高性能的设备进行模型的训练。为此，许多使用深度学习算法的公司都会搭建专门的集群，集群中的每台机器的资源是固定的，但训练任务所需要的资源各不一样，其所需的运行时间也各不一样。

一般的小卡数训练任务都在单机运行，而不是分布式运行，因为这样的训练速度最快。假设集群中每台机器都有8张GPU，各机器上运行的任务都占用了7张GPU，此时如果还需要调度1个单机2张GPU的任务，虽然集群的总体资源是够的，但由于没有单机2张GPU空闲的机器，因此导致新的任务无法调度，这就是资源碎片化所导致的问题，致使资源利用率不高。

发明内容

本申请主要解决的技术问题是提供一种任务时间预测模型的训练方法、任务调度方法及相关装置，能够提高资源利用率。

为了解决上述问题，本申请第一方面提供了一种任务时间预测模型的训练方法，所述训练方法包括：将历史任务的任务信息转换为灰度图像；其中，所述任务信息包括任务运行指令、任务所需的资源以及任务运行的代码；将所述灰度图像输入任务时间预测模型，输出所述历史任务对应的预测运行时间；基于所述历史任务对应的预测运行时间和实际运行时间之间的差异，调整所述任务时间预测模型的网络参数。

为了解决上述问题，本申请第二方面提供了一种任务调度方法，所述任务调度方法包括：使用任务时间预测模型对待运行任务进行预测，得到所述待运行任务的预测运行时间；从满足所述待运行任务所需资源的所有机器节点中，选取运行有目标任务的机器节点作为目标节点；其中，所述目标任务的结束时间点与所述待运行任务的预计完成时间点之间的差值最小；将所述待运行任务调度到所述目标节点；其中，所述任务时间预测模型是通过上述第一方面的任务时间预测模型的训练方法进行训练得到的。

为了解决上述问题，本申请第三方面提供了一种任务调度系统，包括：若干个机器节点，所述机器节点用于利用系统资源运行任务；任务调度器，所述任务调度器用于使用任务时间预测模型对待运行任务进行预测，得到所述待运行任务的预测运行时间；从满足所述待运行任务所需资源的所有机器节点中，选取运行有目标任务的机器节点作为目标节点；将所述待运行任务调度到所述目标节点；其中，所述目标任务的结束时间点与所述待运行任务的预计完成时间点之间的差值最小；所述任务时间预测模型是通过上述第一方面的任务时间预测模型的训练方法进行训练得到的。

为了解决上述问题，本申请第四方面提供了一种任务时间预测模型的训练装置，包括：信息处理模块，所述信息处理模块用于将历史任务的任务信息转换为灰度图像；其中，所述任务信息包括任务运行指令、任务所需的资源以及任务运行的代码；第一预测模块，所述第一预测模块用于将所述灰度图像输入任务时间预测模型，输出所述历史任务对应的预测运行时间；模型优化模块，所述模型优化模块用于基于所述历史任务对应的预测运行时间和实际运行时间之间的差异，调整所述任务时间预测模型的网络参数。