[发明专利]自适应学习率协同优化的目标识别方法、装置及电子设备

权利要求书

1.一种自适应学习率协同优化的目标识别方法，其特征在于，该方法包括：

在将梯度下降算法类比至比例控制-积分控制-微分控制PID时，确定用于消除由梯度下降算法引入的影响PID中微分控制的噪声的特征参数；所述特征参数至少包括t+1时刻的损失梯度变化量表征，所述与t+1时刻的损失梯度、t时刻的损失梯度和损失梯度变化量相关；

通过在Adam算法增加微分控制以对所述损失梯度变化量进行偏置矫正，得到偏置矫正估计；

依据所述、以及PID对应的PID算法自适应调整t+1时刻时模型参数的学习率；对t+1时刻时模型参数的学习率进行裁剪并基于裁剪后的学习率进行模型训练以训练出神经网络模型；所述裁剪用于控制模型训练的收敛；

通过训练出的神经网络模型进行目标识别。

2.根据权利要求1所述的方法，其特征在于，所述通过下式表示：

其中，为预设值，表示t时刻的损失梯度，表示t-1时刻的损失梯度。

3.根据权利要求1或2所述的方法，其特征在于，所述通过下式表示：

其中，表示在t时刻设置的预设值，不同时刻设置的相同或不同。

4.根据权利要求1所述的方法，其特征在于，所述依据所述、以及PID对应的PID算法自适应调整t+1时刻时模型参数的学习率包括：

依据所述、以及已设计的PID算法中积分控制构成用于深度学习的PID优化器，所述PID优化器通过从t时刻至t+1时刻的第一模型参数更新规则表征；

获得基于均方根算法RMSprop确定的均方根的偏差修正、以及基于Adam算法对动量项中的偏置矫正，依据所述、确定从t时刻至t+1时刻的第二模型参数更新规则；

依据所述第一模型参数更新规则和所述第二模型参数更新规则并结合PIM算法，自适应调整t+1时刻时模型参数的学习率。

5.根据权利要求4所述的方法，其特征在于，所述第一模型参数更新规则通过下式表示：

其中，表示t+1时刻的特征参数集合，表示t时刻的特征参数集合，lr表示初始学习率、表示t时刻的损失梯度，表示第i时刻的设置的预设值，不同时刻设置的相同或不同，表示t-i时刻设置的缩放参数，不同时刻设置的相同或不同。

6.根据权利要求4所述的方法，其特征在于，所述第二模型参数更新规则通过下式表示：

其中，表示t+1时刻的特征参数集合，表示t时刻的特征参数集合，lr表示初始学习率、表示对基于Adam算法的动量项进行的偏差矫正，表示对基于均方根算法RMSprop确定的均方根进行的偏差矫正，为预设常数。

7.根据权利要求4至6任一所述的方法，其特征在于，所述依据所述第一模型参数更新规则和所述第二模型参数更新规则并结合PIM算法，自适应调整t+1时刻时模型参数的学习率通过下式表征：

其中，表示t+1时刻的特征参数集合，表示t时刻的特征参数集合；表示在t+1时刻时模型参数的学习率，lr表示初始学习率，、、分别表示在PID中P、I、D环节的增益系数，表示对基于Adam算法的动量项进行的偏差矫正，表示对基于均方根算法RMSprop确定的均方根进行的偏差矫正，为预设常数，表示t+1时刻的损失梯度。

8.根据权利要求1所述的方法，其特征在于，所述对t+1时刻时模型参数的学习率进行裁剪包括：

比较与预设下限阈值，若小于或等于预设下限阈值，则确定t+1时刻时模型参数的学习率为预设下限阈值；

比较与预设上限阈值，若大于或等于预设上限阈值，则确定t+1时刻时模型参数的学习率为预设上限阈值；

若在预设上限阈值和预设下限阈值之间，则确定t+1时刻时模型参数的学习率为；

其中，表示对基于Adam算法的动量项进行的偏差矫正，表示对基于均方根算法RMSprop确定的均方根进行的偏差矫正，为预设常数，为初始学习率。