[发明专利]模型训练方法、装置、设备以及存储介质

说明书

本公开提供了一种模型训练方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及人工智能、深度学习分布式计算等技术领域。具体实现方案为：获取并行策略数据和至少一个候选节点的候选节点标识，其中，并行策略数据包括多维数组，多维数组中记录有多个节点标识；根据至少一个候选节点的候选节点标识在多维数组中的维度位置，与至少一个候选节点建立至少一个通信组，其中，维度位置包括多个位置值，多个位置值与多个维度一一对应；以及根据至少一个通信组，执行模型训练操作。

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、深度学习分布式计算等技术领域。

背景技术

近年来，由于大模型(Foundation Model)在各种应用任务中的卓越表现，大模型被应用于越来越多的实际场景中。由于大模型的参数量和训练数据量较大，需要使用对应的并行策略来加速整个训练过程，从而达到缩短训练时间的目的。

发明内容

本公开提供了一种模型训练方法、装置、设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种模型训练方法，包括：获取并行策略数据和至少一个候选节点的候选节点标识，其中，所述并行策略数据包括多维数组，所述多维数组中记录有多个节点标识；根据所述至少一个候选节点的候选节点标识在所述多维数组中的维度位置，与所述至少一个候选节点建立至少一个通信组，其中，所述维度位置包括多个位置值，所述多个位置值与多个维度一一对应；以及根据所述至少一个通信组，执行模型训练操作。

根据本公开的另一方面，提供了一种模型训练装置，包括：获取模块，用于获取并行策略数据和至少一个候选节点的候选节点标识，其中，所述并行策略数据包括多维数组，所述多维数组中记录有多个节点标识；建立模块，用于根据所述至少一个候选节点的候选节点标识在所述多维数组中的维度位置，与所述至少一个候选节点建立至少一个通信组，其中，所述维度位置包括多个位置值，所述多个位置值与多个维度一一对应；以及执行模块，用于根据所述至少一个通信组，执行模型训练操作。

本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的模型训练方法、装置、电子设备和存储介质的应用场景示意图；

图2示意性示出了根据本公开的实施例的模型训练方法的流程图；

图3示意性示出了根据本公开的实施例的与至少一个候选节点建立至少一个通信组的方法的流程图；

图4示意性示出了根据本公开的实施例的与至少一个候选节点建立至少一个第一通信组的方法的流程图；

图5示意性示出了根据本公开另一实施例的与至少一个候选节点建立至少一个通信组的方法的流程图；

图6示意性示出了根据本公开另一实施例的与至少一个候选节点建立至少一个第二通信组的方法的流程图；