[发明专利]面向智能计算的分布式训练任务调度方法、系统和装置

说明书

本发明提供一种面向智能计算的分布式训练任务调度方法、系统和装置，系统包括模型性能预测和分解模块、全局GPU资源调度器和各计算节点均配置的本地GPU资源调度器，全局GPU资源调度器在接收到模型性能预测和分解模块发送的子任务请求后，根据各子任务的资源消耗信息及多个计算节点的GPU运行情况，将各子任务分配到匹配的计算节点的GPU进行训练，并构建各子任务之间的通信拓扑，并在各计算节点的GPU训练对应子任务的过程中，监控各计算节点的GPU的计算资源运行情况，及根据所有计算节点的GPU的计算资源运行情况，控制子任务的调度。本发明能够提高计算集群的GPU和网络等资源的利用率，减少子任务训练的等待时间。

技术领域

本发明涉及一种智能计算领域，尤其涉及一种面向智能计算的分布式训练任务调度方法、系统和装置。

背景技术

深度学习的出现给自然语言处理、音视频处理、融媒体等领域带来了巨大的更新，但是随着深度学习模型越来越大，有些大模型的参数量甚至超过了几百亿，如此大规模的模型往往通过构建分布式机器学习系统来完成模型训练。同时，因为单张GPU算力有限，在模型训练的时候通过在多台机器和多张GPU卡上构建分布式训练方法来加快模型训练，已经成为一种非常普遍的方法。

分布式训练中，一个计算任务会分被分成多个子任务，并且被分配到不同GPU上执行，并且不同的分布式训练方法的通信效率和计算效率不同，当多个模型同时在计算集群中训练时，简单的调度方法显然无法发挥智能计算集群的最佳性能。当分布式训练的模型同时在智能计算集群训练时，如果仅依赖本地资源调度器，可能出现训练任务相互之间出现等待、GPU空闲、通信拥塞等问题。

发明内容

本发明的目的在于提供一种面向智能计算的分布式训练任务调度方法、系统和装置，解决了现有技术中单卡单任务调度无法充分利用分布式训练方法的协调调度特征，且无法充分挖掘分布式训练在智能计算集群的性能潜力问题。

本发明采用的技术方案如下：

本发明实施例提供一种面向智能计算的分布式训练任务调度系统，计算集群包括多个计算节点，多个计算节点之间能够相互通信，各计算节点包括至少一CPU和至少一个GPU，所述系统包括：

模型性能预测和分解模块：用于根据用户输入的待训练模型、目标完成时间和目标投入资源，确定所述待训练模型对应的分布式训练方式，并将所述待训练模型划分成多个子任务，以及确定各子任务的资源消耗信息，所述分布式训练方式包括数据并行、流水并行和混合并行中的一种，所述混合并行包括数据并行和流水并行，所述资源消耗信息包括计算消耗和内存消耗；

全局GPU资源调度器：用于在接收到所述模型性能预测和分解模块发送的子任务请求后，根据各子任务的资源消耗信息及多个所述计算节点的GPU运行情况，将各子任务分配到匹配的计算节点的GPU进行训练，并构建各子任务之间的通信拓扑，并在各计算节点的GPU训练对应子任务的过程中，监控各计算节点的GPU的计算资源运行情况，以及根据所有计算节点的GPU的计算资源运行情况，控制子任务的调度，其中，所述子任务请求携带有所述待训练模型对应的分布式训练方式、多个所述子任务及各子任务的资源消耗信息；和

各计算节点均配置的本地GPU资源调度器：用于根据所述分布式训练方式，对分配到该计算节点的子任务进行本地调度。

本发明实施例还提供一种面向智能计算的分布式训练任务调度方法，计算集群包括多个计算节点，多个计算节点之间能够相互通信，各计算节点包括至少一CPU和至少一个GPU，所述方法包括：

通过模型性能预测和分解模块根据用户输入的待训练模型、目标完成时间和目标投入资源，确定所述待训练模型对应的分布式训练方式，并将所述待训练模型划分成多个子任务，以及确定各子任务的资源消耗信息，所述分布式训练方式包括数据并行、流水并行和混合并行中的一种，所述混合并行包括数据并行和流水并行，所述资源消耗信息包括计算消耗和内存消耗；