[发明专利]训练深度学习模型的方法、装置、设备以及存储介质

说明书

本公开提供了一种训练深度学习模型的方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及人工智能、深度学习等技术领域。具体实现方案为：将训练数据划分为N个第一数据集，其中，N为大于1的整数；根据N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果；根据第一交换结果，与当前计算节点中的目标处理单元进行数据交换，得到第二交换结果；以及利用第二交换结果，对深度学习模型进行训练。

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、深度学习等技术领域。

背景技术

深度学习领域，MoE(Mixure-of-Experts，混合专家模型)是实现超大规模模型训练的技术路径之一。MoE中可以采用all-to-all(全部到全部)的通信方式。all-to-all操作是一种通信操作。例如，在深度学习任务中，进程间可以通过all-to-all操作交换数据，并使用交换后的数据进行接下来的计算。

发明内容

本公开提供了一种训练深度学习模型的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种训练深度学习模型的方法，包括：将训练数据划分为N个第一数据集，其中，N为大于1的整数；根据所述N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果；根据所述第一交换结果，与所述当前计算节点中的目标处理单元进行数据交换，得到第二交换结果；以及利用所述第二交换结果，对深度学习模型进行训练。

根据本公开的另一方面，提供了一种训练深度学习模型的装置，包括：划分模块，用于将训练数据划分为N个第一数据集，其中，N为大于1的整数；第一交换模块，用于根据所述N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果；第二交换模块，用于根据所述第一交换结果，所述当前计算节点中的目标处理单元进行数据交换，得到第二交换结果；以及训练模块，用于利用所述第二交换结果，对深度学习模型进行训练。

本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的可以应用训练深度学习模型的方法、装置、电子设备和存储介质的系统架构示意图；

图2示意性示出了根据本公开的实施例的训练深度学习模型的方法的流程图；

图3示意性示出了根据本公开的实施例的与目标计算节点进行数据交换的方法的流程图；

图4示意性示出了根据本公开的实施例的与目标处理单元进行数据交换的方法的流程图；

图5示意性示出了根据本公开的实施例的对深度学习模型进行训练的方法的流程图；

图6A示意性示出了根据本公开另一实施例的训练深度学习模型的示意图；

图6B示意性示出了根据本公开另一实施例的训练深度学习模型的示意图；