[发明专利]神经网络模型的训练方法、装置、计算机设备及存储介质

权利要求书

1.一种神经网络模型的训练方法，其特征在于，所述方法包括：

对神经网络模型进行第t轮迭代训练，t为正整数；

第t轮迭代训练后，确定所述神经网络模型的第t轮总损失，所述第t轮总损失由至少两种子损失构成，且各种子损失对应各自的第t轮损失权重；

响应于不满足训练完成条件，基于各种子损失的损失占比的变化情况，确定各种子损失对应的第t+1轮损失权重，所述损失占比指子损失占总损失的比例。

2.根据权利要求1所述的方法，其特征在于，所述基于各种子损失的损失占比的变化情况，确定各种子损失对应的第t+1轮损失权重，包括：

获取第t轮迭代训练后各种子损失的第t轮损失占比，以及第t-1轮迭代训练后各种子损失的第t-1轮损失占比；

基于所述第t轮损失占比和所述第t-1轮损失占比，确定各种子损失的损失占比变化幅度；

基于各种子损失的所述损失占比变化幅度以及所述第t轮损失权重，确定各种子损失对应的所述第t+1轮损失权重。

3.根据权利要求2所述的方法，其特征在于，所述基于各种子损失的所述损失占比变化幅度以及所述第t轮损失权重，确定各种子损失对应的所述第t+1轮损失权重，包括：

确定动态调整因子，所述动态调整因子在训练过程中动态变化；

基于所述动态调整因子、各种子损失的所述损失占比变化幅度以及所述第t轮损失权重，确定各种子损失对应的所述第t+1轮损失权重。

4.根据权利要求3所述的方法，其特征在于，所述确定动态调整因子，包括：

基于当前训练步数确定所述动态调整因子，所述当前训练步数根据已迭代轮数确定得到，且所述动态调整因子与所述当前训练步数呈正相关关系。

5.根据权利要求4所述的方法，其特征在于，所述基于当前训练步数确定所述动态调整因子，包括：

确定所述当前训练步数与目标训练步数之间的步数差值，所述目标训练步数对应的所述动态调整因子为0；

将所述步数差值输入调整因子确定函数，得到所述动态调整因子，所述调整因子确定函数为双曲正切函数，且当所述当前训练步数小于所述目标训练步数时，所述动态调整因子为负数，当所述当前训练步数大于所述目标训练步数时，所述动态调整因子为正数。

6.根据权利要求1至5任一所述的方法，其特征在于，所述确定所述神经网络模型的第t轮总损失，包括：

确定第t轮迭代训练中各个训练样本在各种损失函数下对应的样本损失；

将所述样本损失的平均值确定为损失函数对应的子损失；

对各种子损失以及各种子损失对应的所述第t轮损失权重进行加权计算，得到所述神经网络模型的所述第t轮总损失。

7.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

将训练样本输入初始化的神经网络模型，确定初始化子损失；

基于所述初始化子损失确定初始损失权重，其中，确定所述初始损失权重时，为各个所述初始化子损失分配的学习注意力相同。

8.一种神经网络模型的训练装置，其特征在于，所述装置包括：

训练模块，用于对神经网络模型进行第t轮迭代训练，t为正整数；

损失确定模块，用于第t轮迭代训练后，确定所述神经网络模型的第t轮总损失，所述第t轮总损失由至少两种子损失构成，且各种子损失对应各自的第t轮损失权重；

损失权重确定模块，用于响应于不满足训练完成条件，基于各种子损失的损失占比的变化情况，确定各种子损失对应的第t+1轮损失权重，所述损失占比指子损失占总损失的比例。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的神经网络模型的训练方法。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的神经网络模型的训练方法。