[发明专利]基于多GPU的分布式深度学习模型训练代价的获取方法

说明书

本公开提供了一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法，涉及人工智能领域，尤其涉及深度学习及云计算技术领域。具体实现方案为：获取并行策略；针对每个并行策略，获取多个GPU对应的每个算子的时间代价，并将所有的算子的时间代价之和作为目标时间代价；获取每个算子的内存消耗，并将所有的内存消耗之和作为目标内存消耗；根据目标内存消耗和目标时间代价，获取训练代价，并根据训练代价，选取最优并行策略。由此，本公开综合考虑算子的时间代价和内存消耗，更加准确地获取并行策略的训练代价，进而为选取最优并行策略奠定了坚实的基础。进一步地，无需考虑模型结构，为平台资源分配和并行策略的选择提供显著的指导意义。

技术领域

本公开涉及数据处理技术领域，尤其涉及人工智能技术领域，并且更具体地涉及深度学习及云计算技术领域。

背景技术

近年来，随着深度学习等人工智能技术的快速发展，模型参数量和数据量也随之攀升，而且深度学习模型的训练还需要不断地更新迭代参数来提高表达能力，这使得即使是计算机硬件和相应优化算法快速发展的今天，单机训练也已经无法满足需求。这样一来，能够提升模型的训练速度、提高训练的模型的规模的分布式并行训练等分布式深度学习方式便应运而生。

为基于最优的并行策略进行分布式并行训练，往往需要对多个并行优化策略进行分析。然而，相关技术中，尚不存在完善的并行策略获取方法，也就是说，尚不存在完善的基于多GPU(graphics processing unit，图形处理器)的分布式深度学习模型训练代价的获取方法。

因此，如何通过效率、准确性及可靠性较高的基于多GPU的分布式深度学习模型训练代价的获取方法，确保模型能够基于最优的并行策略进行训练，进而提高模型的深度学习效果，已成为了重要的研究方向之一。

发明内容

本公开提供了一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法。

根据本公开的一方面，提供了一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法，包括：

获取分布式深度学习模型的训练任务的至少一个并行策略；

针对每个所述并行策略，获取执行所述训练任务的多个GPU对应的每个所述算子进行模型训练时的时间代价，并将所有的所述算子的所述时间代价之和作为目标时间代价；

获取每个所述算子进行模型训练时的内存消耗，并将所有的所述内存消耗之和作为目标内存消耗；

根据所述目标内存消耗和所述目标时间代价，获取基于所述并行策略执行训练任务时的训练代价，并根据每个所述并行策略对应的所述训练代价，选取最优并行策略。

根据本公开的另一方面，提供了一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取装置，包括：

第一获取模块，用于获取分布式深度学习模型的训练任务的至少一个并行策略；

第二获取模块，用于针对每个所述并行策略，获取执行所述训练任务的多个GPU对应的每个所述算子进行模型训练时的时间代价，并将所有的所述算子的所述时间代价之和作为目标时间代价；

第三获取模块，用于获取每个所述算子进行模型训练时的内存消耗，并将所有的所述内存消耗之和作为目标内存消耗；

选取模块，用于根据所述目标内存消耗和所述目标时间代价，获取基于所述并行策略执行训练任务时的训练代价，并根据每个所述并行策略对应的所述训练代价，选取最优并行策略。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法。