[发明专利]自适应学习率协同优化的目标识别方法、装置及电子设备

说明书

本申请实施例提供了自适应学习率协同优化的目标识别方法、装置及电子设备。在本实施例中，借鉴PID的设计思想，在深度学习常用的梯度下降算法比如Adam算法等中引入微分控制环节，实现自适应调整模型参数的学习率，加速神经网络模型中模型参数的收敛，避免神经网络模型训练过程中的损失震荡，最终实现了自适应学习率协同优化的目标识别。进一步地，在本实施例中，通过对自适应调整后的学习率进行裁剪，可解决后期因为出现极端学习率而造成模型不收敛或找不到良好的全局最优解的问题。

技术领域

本申请涉及人工智能领域，特别涉及自适应学习率协同优化的目标识别方法、装置及电子设备。

背景技术

深度学习已经在图像、语音、自然语言处理等各个不同的领域展现出了优异的性能。以人脸识别为例，深度学习的识别率和识别速度早已超越了人工识别的速度。除此之外，文字识别、文本翻译以及现在重点研究的自动驾驶都得益于深度学习的发展。

目前，虽然在基于深度学习的神经网络模型训练过程中采用效果较佳的反向回馈（BP）算法计算梯度，但仍然存在损失震荡比如训练速度慢、模型无法收敛等。而该损失震荡会影响神经网络模型的训练，进而影响神经网络模型的应用比如识别出的目标对象（如人脸）和/或异常动作行为（如纵火、抢劫、斗殴、偷窃）等不精准。

发明内容

本申请实施例提供了自适应学习率协同优化的目标识别方法、装置及电子设备，以通过自适应调整学习率来避免神经网络模型训练过程中的损失震荡，实现自适应学习率协同优化的目标识别。

本申请实施例提供了一种自适应学习率协同优化的目标识别方法，该方法包括：

在将梯度下降算法类比至比例控制-积分控制-微分控制PID时，确定用于消除由梯度下降算法引入的影响PID中微分控制PD的噪声的特征参数；所述特征参数至少包括t+1时刻的损失梯度变化量表征，所述与t+1时刻的损失梯度、t时刻的损失梯度和损失梯度变化量相关；

通过在Adam算法增加微分控制环节以对所述损失梯度变化量进行偏置矫正，得到偏置矫正估计；

依据所述、以及PID对应的PID算法自适应调整t+1时刻时模型参数的学习率；对t+1时刻时模型参数的学习率进行裁剪并基于裁剪后的学习率进行模型训练以训练出神经网络模型；所述裁剪用于控制模型训练的收敛；

通过训练出的神经网络模型进行目标识别。

本申请实施例提供了一种自适应学习率协同优化的目标识别装置，该装置包括：

确定单元，用于在将梯度下降算法类比至比例控制-积分控制-微分控制PID算法时，确定由梯度下降算法引入的影响PID算法中微分控制PD的噪声特征参数；所述噪声特征参数至少包括t+1时刻的损失梯度变化量表征，所述与t+1时刻的损失梯度、t时刻的损失梯度和损失梯度变化量相关；

矫正单元，用于通过在Adam算法增加微分环节以对所述损失梯度变化量进行偏置矫正，得到偏置矫正估计；

调整单元，用于依据所述、以及PID算法自适应调整t+1时刻时模型参数的学习率；对t+1时刻时模型参数的学习率进行裁剪并基于裁剪后的学习率进行模型训练以训练出神经网络模型；所述裁剪用于控制模型训练的收敛；训练出的神经网络模型用于目标识别。

本申请实施例还提供了一种电子设备。该电子设备包括：处理器和机器可读存储介质；

所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现上述公开的方法的步骤。

由以上技术方案可以看出，本申请中，借鉴PID的设计思想，在深度学习常用的梯度下降算法比如Adam算法等中引入微分控制环节，实现自适应调整模型参数的学习率，加速神经网络模型中模型参数的收敛，避免神经网络模型训练过程中的损失震荡，最终实现了自适应学习率协同优化的目标识别。