[发明专利]一种神经网络优化的图像识别方法

说明书

本发明公布了一种神经网络优化方法，称为提升邻近算子机LPOM，涉及深度学习技术领域。本发明方法不需要使用现有的一阶或者二阶导数信息直接优化神经网络，而是将神经网络转化为新的LPOM优化问题，再通过交替极小化方法求解LPOM优化问题。采用本发明方法，求解过程消除了神经网络的层状结构；可通过交替迭代法进行求解；求解方法可在一定程度上转化为随机算法，使得迭代时保持较小的计算量；对于超过20层的神经网络，采用本发明方法仍能够使得训练误差稳定地下降。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种新的神经网络优化方法，命名为提升邻近算子机(Lifted Proximal Operator Machine，LPOM)。该方法将神经网络的优化问题转化为一个新的优化问题进行求解，该转化成的待求的优化问题的Karush–Kuhn–Tucker(KKT)条件与神经网络前向过程等价。

背景技术

近年来，深度神经网络在人工智能、图像识别、语音识别领域取得了巨大成功。相比于浅层的神经网络，深度的神经网络往往有着更多的模型参数与更大的容量，在数据量较大的情况下能取得更好的效果。然而求解神经网络的优化问题是一个典型的非凸优化问题，随着神经网络层数的增加，训练神经网络也变得更加困难。目前，训练神经网络的方法大致分为三类：

第一类：最主流优化神经网络的方法是一些一阶随机算法，例如，随机梯度下降法(Stochastic Gradient Descent)、文献[1]记载的Adagrad、文献[2]记载的Adadelta、文献[3]记载的RMSprop[3]，以及文献[4]记载的Adam等。该类方法在迭代过程使用一个或者小批量的样本的梯度信息(或者预条件梯度信息)作为下降方向，梯度的计算过程通过反向传播算法计算获得。该类方法主要有如下两个优势：一是该类方法在迭代过程中，每次使用几个样本的梯度来估计整体样本的梯度，减小了每步迭代的计算量(从O(n)减小到O(1))；二是由于在迭代过程中，使用的下降方向带有一定的噪声，这类随机方法往往可以避开一些不好的关键点，文献[5]证明了在一定条件下，随机梯度下降法可以避开一阶鞍点。然而，随着神经网络层数的增加，该类方法也展现出了一些局限性。对于深层的神经网络，该类方法容易出现难收敛或者收敛较慢的现象。例如，当神经网络的激活函数是Sigmoid函数时，梯度在反向传播过程中会出现湮灭现象。故在实际使用这类一阶随机算法时，经常需要使用一些工程技巧来辅助优化，例如：随机权重初始化、文献[6]记载的冲量(momentum)、文献[7]记载的梯度归一化、文献[8]记载的dropout、权重延迟等。

另一类优化神经网络的方法是一些近似的二阶方法，其中比较典型的方法有文献[9]记载的Hessian Free、文献[10]记载的自然梯度法(Nature Gradient)和文献[11]记载的K-FAC。该类方法由于使用了更高阶的信息去优化神经网络，在训练一些特定问题中，训练误差能够低于一阶随机算法。但在实际过程中，这类算法由于使用了更高阶的信息，很难转化为随机算法，所以算法的计算成本较大，收敛速度较慢。

第三类优化神经网络的方法是采用文献[12]～[13]记载的ADMM方法。使用ADMM方法优化神经网络有如下优势：一是算法不需要使用反向传播算法去获得梯度信息，故不会出现梯度爆炸或者湮灭现象；二是ADMM算法很容易大规模并行(分布式)实现。然而，在实践中，ADMM往往只能求解浅层的神经网络(大约4层)。对于深层的神经网络，ADMM方法的收敛速度将十分缓慢。

参考文献：

[1]Duchi J,Hazan E,Singer Y.Adaptive subgradient methods for onlinelearning and stochastic optimization[J].Journal of Machine Learning Research,2011,12(Jul):2121-2159.