[发明专利]模型训练方法、装置、电子设备和计算机可读存储介质

说明书

本公开公开了模型训练方法、装置、电子设备和计算机可读存储介质，涉及人工智能领域，尤其涉及深度学习领域和人工智能芯片领域。具体实现方案为：通过一个计算单元对一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作，以基于第一反向计算操作确定第一计算结果和模型的第一梯度；至少基于第一梯度，确定第一同步梯度；基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作，以基于所述第二反向计算操作至少确定所述模型的第二梯度；至少基于第二梯度，确定第二同步梯度；以及至少基于第一同步梯度和第二同步梯度更新模型的参数。以此方式，实现了高效准确的并行训练。

技术领域

本公开涉及计算机技术领域，尤其涉及深度学习领域和人工智能芯片领域，具体地，涉及模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

随着人工智能技术的发展，模型训练场景对算力的需求越来越大，传统的通过单个计算单元基于训练数据集来完成对模型进行训练的方式逐渐被多个计算单元协同完成训练任务的方式所取代。然而，多个计算单元参与的并行训练过程存在瓶颈，制约了多个计算单元的训练性能的提升。

发明内容

本公开提供了一种用于训练模型的方法、装置、电子设备、存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种模型训练方法。该方法可以包括通过多个计算单元中的一个计算单元对多个训练数据集中的一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作，以基于第一反向计算操作确定第一计算结果和模型的第一梯度。进而，至少基于第一梯度，确定第一同步梯度。这里，第一同步梯度与多个计算单元的相应第一反向计算操作相关联。该方法还可以包括基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作，以基于所述第二反向计算操作至少确定所述模型的第二梯度。进而，至少基于第二梯度，确定第二同步梯度。这里，第二同步梯度与多个计算单元的相应第二反向计算操作相关联。此外，该方法可以进一步包括至少基于第一同步梯度和第二同步梯度更新模型的参数。

根据本公开的另一方面，提供了一种模型训练装置，包括：第一计算操作执行模块，被配置为通过多个计算单元中的一个计算单元对多个训练数据集中的一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作，以基于所述第一反向计算操作确定第一计算结果和所述模型的第一梯度；第一同步梯度确定模块，被配置为至少基于所述第一梯度确定第一同步梯度，其中所述第一同步梯度与所述多个计算单元的相应第一反向计算操作相关联；第二计算操作执行模块，被配置为基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作，以基于所述第二反向计算操作至少确定所述模型的第二梯度；第二同步梯度确定模块，被配置为至少基于所述第二梯度确定第二同步梯度，其中所述第二同步梯度与所述多个计算单元的相应第二反向计算操作相关联；以及模型参数更新模块，被配置为至少基于所述第一同步梯度和所述第二同步梯度更新所述模型的参数

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品，计算机程序在被处理器执行时实现根据本公开的第一方面的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：