[发明专利]基于多GPU的分布式深度学习模型训练代价的获取方法

权利要求书

1.一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法，包括：

获取分布式深度学习模型的训练任务的至少一个并行策略，所述并行策略为分布式并行训练策略；

针对每个所述并行策略，获取执行所述训练任务的多个GPU对应的每个算子进行模型训练时的时间代价，并将所有的所述算子的所述时间代价之和作为目标时间代价；

获取每个所述算子进行模型训练时的内存消耗，并将所有的所述内存消耗之和作为目标内存消耗；

根据所述目标内存消耗和所述目标时间代价，获取基于所述并行策略执行训练任务时的训练代价，并根据每个所述并行策略对应的所述训练代价，选取最优并行策略；

其中，所述获取执行所述训练任务的多个GPU对应的每个所述算子进行模型训练时的时间代价，包括：

确定所述算子在分布式场景下执行的任务为计算任务和通信任务，则获取所述算子进行模型训练时的计算时间代价，并获取所述算子进行模型训练时对应的通信时间代价，以将所述计算时间代价与所述通信时间代价之和作为所述时间代价；

其中，所述获取所述算子进行模型训练时的通信时间代价，包括：

确定所述算子对应的通信算子；

获取参与所述分布式深度学习模型进行模型训练时的所有的GPU的目标集群信息；

根据所述目标集群信息和所述通信算子，获取所述通信时间代价。

2.根据权利要求1所述的方法，其中，所述获取执行所述训练任务的多个GPU对应的每个所述算子进行模型训练时的时间代价，还包括：

确定所述算子在分布式场景下执行的任务为计算任务，则获取所述算子进行模型训练时的计算时间代价作为所述时间代价。

3.根据权利要求2所述的方法，其中，所述获取所述算子进行模型训练时的计算时间代价，包括：

获取所述算子的输入，其中，所述输入为所述算子在模型训练过程中的执行内容；

获取所述算子的属性，并根据所述属性和所述输入，确定所述计算时间代价。

4.根据权利要求3所述的方法，其中，所述根据所述属性和所述输入，确定所述计算时间代价，包括：

将所述输入和所述属性输入至第一算子模拟模型中，由所述第一算子模拟模型执行所述算子对应的模拟计算，以获取所述算子执行所述执行内容时的所述计算时间代价。

5.根据权利要求2-4中任一项所述的方法，其中，所述方法还包括：

获取所述算子对应的串行计算策略，并根据所述串行计算策略，获取每个所述算子的计算执行顺序；

根据所述计算执行顺序，获取每个所述算子的所述时间代价。

6.根据权利要求1所述的方法，其中，所述根据所述目标集群信息和所述通信算子，获取所述通信时间代价，包括：

获取所述通信算子的集合属性；

响应于所述集合属性指示所述通信算子为集合通信算子，则获取所述通信算子的通信方式，并根据所述通信方式、所述目标集群信息和所述通信算子，获取第一子通信时间代价；

获取参与所述分布式深度学习模型进行模型训练时的每个所述GPU对应的进程的完成时间，并根据所述完成时间，获取第二子通信时间代价；

将所述第一子通信时间代价和所述第二子通信时间代价之和作为所述通信时间代价。

7.根据权利要求6所述的方法，其中，所述根据所述通信方式、所述目标集群信息和所述通信算子，获取第一子通信时间代价，包括：

将所述通信方式、所述目标集群信息和所述通信算子输入第二算子模拟模型中，由所述第二算子模拟模型执行所述通信算子对应的模拟通信，以获取所述第一子通信时间代价。

8.根据权利要求7所述的方法，其中，所述根据所述完成时间，获取第二子通信时间代价，包括：

从所有的所述完成时间中选取完成时间最大值作为所述第二子通信时间代价。

9.根据权利要求6或7所述的方法，其中，所述目标集群信息至少包括以下之一：交换机延迟以及跳步总数。