[发明专利]模型训练方法、装置、电子设备和计算机可读存储介质

权利要求书

1.一种模型训练方法，包括：

通过多个计算单元中的一个计算单元，对多个训练数据集中的一个训练数据集执行前向计算操作序列、以及反向计算操作序列中包括的第一反向计算操作，以基于所述第一反向计算操作确定第一计算结果和所述模型的第一梯度；

至少基于所述第一梯度，确定第一同步梯度，其中所述第一同步梯度与所述多个计算单元的相应第一反向计算操作相关联；

基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作，以基于所述第二反向计算操作至少确定所述模型的第二梯度；

至少基于所述第二梯度，确定第二同步梯度，其中所述第二同步梯度与所述多个计算单元的相应第二反向计算操作相关联；以及

至少基于所述第一同步梯度和所述第二同步梯度更新所述模型的参数。

2.根据权利要求1所述的方法，其中至少基于所述第一梯度确定所述第一同步梯度包括：

将所述第一梯度传输至用于控制所述多个计算单元并行训练所述模型的处理器；以及

接收由所述处理器确定的所述第一同步梯度。

3.根据权利要求2所述的方法，其中至少基于所述第二梯度确定所述第二同步梯度包括：

将所述第二梯度传输至所述处理器；以及

接收由所述处理器确定的所述第二同步梯度。

4.根据权利要求1所述的方法，其中基于所述第一梯度确定所述第一同步梯度包括：

将所述第一梯度传输至用于控制所述多个计算单元并行训练所述模型的处理器；

将所述多个计算单元中的附加计算单元基于所述多个训练数据集中的另一训练数据集确定的第一附加梯度传输至所述处理器；以及

接收由所述处理器基于所述第一梯度与所述第一附加梯度确定的所述第一同步梯度。

5.根据权利要求4所述的方法，其中接收由所述处理器基于所述第一梯度与所述第一附加梯度确定的所述第一同步梯度包括：

接收基于所述第一梯度与所述第一附加梯度的和确定的所述第一同步梯度。

6.根据权利要求1所述的方法，还包括：

基于所述第二反向计算操作确定第二计算结果；

基于所述第二计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第三反向计算操作，以基于所述第三反向计算操作至少确定所述模型的第三梯度；以及

至少基于所述第三梯度，确定第三同步梯度，其中所述第三同步梯度与所述多个计算单元的相应第三反向计算操作相关联。

7.根据权利要求6所述的方法，还包括：

基于所述第三反向计算操作确定第三计算结果；

基于所述第三计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第四反向计算操作，以基于所述第四反向计算操作至少确定所述模型的第四梯度；以及

至少基于所述第四梯度，确定第四同步梯度，其中所述第四同步梯度与所述多个计算单元的相应第四反向计算操作相关联。

8.根据权利要求2中任一项所述的方法，其中所述处理器是中央处理器CPU，并且所述计算单元是人工智能芯片或图像处理器GPU。