[发明专利]神经网络模型训练方法、装置、设备及可读存储介质

说明书

本申请公开了一种神经网络模型训练方法、装置、设备及可读存储介质，将训练样本输入神经网络模型，得到模型预测的结果，对根据结果及标签计算出的损失函数求二阶导，得到二阶损失函数，利用线性共轭梯度算法对二阶损失函数进行优化，得到目标函数，再基于如下公式：计算梯度下降向量，也即使用了二阶优化算法对模型的参数进行训练调整，直至满足设定的训练结束条件，使神经网络模型能够准确的训练学习，能够处理大量的训练样本，有效地实现神经网络模型通过一个完全通用的优化器来执行，无需任何训练样本的预训练，解决了深度学习中的欠拟合问题，同时使得优化速度更快。

技术领域

本申请涉及机器学习技术领域，更具体地说，涉及一种神经网络模型训练方法、装置、设备及可读存储介质。

背景技术

神经网络模型中的参数的训练学习是机器学习领域中研究最深入的问题之一，关于反向传播算法的研究表明深度神经网络学习中的目标的梯度可以被有效地计算出来，通过在梯度下降过程中使用多重网络权值学习方案以及非线性隐藏单元层可以使得目标梯度的计算得到很高的改善。然而这些传统的研究方法在对于那些具有多层的神经网络情况下表现并不理想，随着训练样本的增多，神经网络的层数增多，训练学习的准确率越来越低，无法准确的训练出神经网络模型的参数，并会导致在训练集上出现拟合欠佳的状况。

发明内容

有鉴于此，本申请提供了一种神经网络模型训练方法、装置、设备及可读存储介质，用于解决现有神经网络模型训练方式，随着训练样本的增多，神经网络的层数增多，训练学习的准确率越来越低，无法准确的训练出神经网络模型的参数，并会导致在训练集上出现拟合欠佳的状况。

为了实现上述目的，现提出的方案如下：

一种神经网络模型训练方法，包括：

获取训练样本和标签；

将所述训练样本输入待训练的神经网络模型，得到所述神经网络模型预测的结果；

根据所述结果及所述标签计算损失函数，对所述损失函数求二阶导，得到二阶损失函数；

利用线性共轭梯度算法对所述二阶损失函数进行优化，得到目标函数f；

基于如下公式计算梯度下降向量d：

其中，θ为所述目标函数f的参数，H为海瑟矩阵，∈为预设的变化率；

基于所述梯度下降向量d调整所述神经网络模型的参数，直至满足设定的训练结束条件。

优选地，基于所述梯度下降向量d调整所述神经网络模型的参数，直至满足设定的训练结束条件，包括：

基于所述梯度下降向量d调整所述神经网络模型的参数，直至满足如下条件：

其中，p为原始最佳搜索方向，B＝H(θ)。

优选地，所述利用线性共轭梯度算法对所述二阶损失函数进行优化，得到目标函数f之前，还包括：

基于Newton-Lanczos方法对预设的信任区域半径进行衰减，得到衰减系数λ；

基于如下公式计算对角矩阵M：

其中，α为预设的指数，D为所述训练样本的数量，I为单位矩阵，y_i为第i个训练样本的标签；

所述利用线性共轭梯度算法对所述二阶损失函数进行优化，得到目标函数f，包括：

基于所述对角矩阵M利用线性共轭梯度算法对所述二阶损失函数进行优化，得到目标函数f。