[发明专利]基于L2重新正则化Adam切换模拟回火SGD的深度学习方法

说明书

本发明提供一种基于L2重新正则化Adam切换模拟回火SGD的深度学习方法，属于模式识别技术领域。该方法先利用Adam算法进行快速收敛，之后由算法根据一定的条件自行切换至SGD算法，以达到更好的收敛状态。在切换条件的选择思路上则首先根据梯度的正交平行四边形算法计算得到切换到SGD时所需要采用的学习率，然后根据Adam与SGD的特性设置了三个切换条件，最后为加强算法效率，使用L2重新正则化和模拟回火分别优化两种算法。该方法在领域公认的小型标准数据集Fashion‑MNIST、Cifar‑10与大型标准数据集ImageNet上进行了实验，在测试集准确率，以及达到可接受收敛的迭代次数等方面，新算法均取得优势，在需要节约时间、运算配置相对不高的现场环境具有创新意义。

技术领域

本发明涉及三维图像标准数据库数据的模式识别技术领域，特别是指一种基于L2重新正则化Adam切换模拟回火SGD的深度学习方法。

背景技术

深度学习作为目前最前沿的计算机理论及人工智能领域研究领域，其网络结构的搭建以及梯度下降环节的优化器研究是目前研究的重点与热点。目前应用较广泛的梯度下降优化器算法主要是SGD和Adam以及基于这两种算法的各类变体。

SGD算法是基于最典型的梯度下山算法而衍生出来的，即随机使用固定数目的样本(如128个)就更新一次，但SGD收敛的速度仍然偏慢，而且可能会在梯度几乎为0的鞍点或梯度比较差的局部最优点两侧持续震荡，没有足够的应对策略跳出局部最优。

Diederik Kingma和Jimmy Ba在2015年的国际学习表征会议上提出了Adam，它结合了前面算法的加速特点，使用一阶和二阶两种动量做偏置校正后进行权重更新，它不受梯度的伸缩变换影响，收敛速度明显优于SGD。但它同样存在之前算法的缺点，一是二阶动量的累积可能会对前期出现的特征过拟合，而后期出现的特征很难纠正前期的拟合效果，导致梯度变化时大时小，可能在训练后期引起梯度下降的震荡，模型无法收敛。二是仍旧存在局部最优问题，在某些空间产生的起伏性区间进入后无法跳出。

目前深度学习领域主流的观点认为，Adam等自适应学习率算法对于稀疏数据具有优势，且收敛速度很快；但精调参数的SGD往往能够取得更好的最终结果。

Daniel Jiwoong Im所设计的著名的多个特定超平面空间的寻优实验，证明了在这种类似的条件下，每两种算法几乎总会搜寻完全不同的方向，尤其是在“波谷”分列在“波峰”两侧且最小值相差不大的时候。这充分证明不同算法需要进行筛选和切换的意义。

发明内容

本发明要解决的技术问题是提供一种基于L2重新正则化Adam切换模拟回火SGD的深度学习方法。

该方法包括步骤如下：

(1)将标准数据库中的数据进行特征提取以及数据增强，将信号输入到L2重新正则化的Adam为初始优化器的深度学习网络；每次迭代中依据得到的梯度，计算得到假设在该次迭代下切换模拟回火SGD优化器的学习率，以及该次迭代完成后深度学习网络权重ω_t矩阵A_t＝(ω_t)^Tω_t的迹tr(A_t)与其特征值的平方和QS(A_t)；

(2)在步骤(1)中经过一定的判断条件，得到下一次迭代是否进行切换，若是，则切换至模拟回火SGD优化器，并使用该优化器至迭代结束；若否，则不改变优化器类型，继续步骤(1)及步骤(2)中迭代与判断的过程。

其中，步骤(1)中L2重新正则化的Adam权重更新方法为其中m为训练集的样本数目，α_k为初始学习率，p_k为传统的梯度更新值，ω_k为更新前的权重。