[发明专利]基于梯度方向参数优化的神经网络的图像分类方法及系统

说明书

本发明公开了基于梯度方向参数优化的神经网络的图像分类方法及系统，获取图像数据集，对图像数据集中的每一幅图像进行预处理；构建卷积神经网络，设置卷积神经网络的超参数和损失函数；将预处理后的图像和已知图像分类标签，作为卷积神经网络的输入值，开始对卷积神经网络进行训练；根据卷积神经网络的输出与图像标签，计算损失函数，然后进行误差反向传播；在误差反向传播的过程中，采用梯度方向参数优化的方式，实现卷积神经网络训练过程中参数的更新，满足结束条件后，结束迭代训练，得到训练好的卷积神经网络；基于训练好的卷积神经网络，对待分类图像进行分类，得到待分类图像的分类标签。本申请具有图像分类速度快，稳定性强的优点。

技术领域

本发明涉及图像处理技术领域，特别是涉及基于梯度方向参数优化的神经网络的图像分类方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

在深度学习中，多分类问题一直是热门的研究领域，多分类问题中最常见的就是图像分类问题。在处理深度学习中的某些图像分类问题时，神经网络模型是要求随时进行训练的。例如，在人脸识别门禁系统中，有新的人员录入门禁系统时，人脸识别神经网络模型就要不断训练新加入人员的人脸图片。因此，加快神经网络模型的训练速度是深度学习中非常重要的，其中，对现有的优化技术进行改进或提出新的优化技术是备受关注的研究课题。

最优化的方法多种多样：在目标函数是凸函数的情况下可以采用凸优化理论等手段，但是深度学习中的目标函数不具备凸性，一般在深度学习时使用目标函数的梯度信息，通过迭代的形式来解决最优化问题；在深度学习中，现有的常用优化方法包括梯度下降法以及牛顿法。其中，梯度下降方法是深度学习中最常用的优化方法，梯度下降方法只利用目标函数的一阶梯度信息，其有着严格的数学理论支撑，计算实现起来简单，是目前神经网络训练中最常用和最有效的优化方法。

基本梯度下降法根据的设定的学习率大小沿梯度方向一步步逐渐向最优点逼近。但这种基本梯度下降法的缺点是：学习率是超参数，其设置几乎没有什么理论可以作为依据，基本是靠实验获得经常使用的学习率经验值，如果学习率设置得较大，则容易使得算法不收敛；如果学习率设置得较小，则算法收敛速度很慢，甚至在到达最优点前就停止了，在实际深度学习训练中需要花大量的时间进行参数调优。研究者们提出了改进的梯度下降算法，主要分为两类。

一类算法致力于通过增加梯度更新的频率达到提高迭代速度的效果，具体做法是减少一次梯度下降所学习的样本数量，在学习了一个批次的样本后就计算梯度并进行一次迭代，有效减小样本之间造成的模型参数更新抵消问题。这类算法包括随机梯度下降法(SGD)和小批量随机梯度下降法(mini-batch SGD)。另一类算法则致力于改变梯度下降算法本身，通过加入动量或者动态调整学习率等超参数因素改变迭代算法的步长，从而提高算法的计算速度。

常见算法包含moumentum、NGA、AdaGrad、AdaDelta、RMSProp、Adam等。在深度学习的实际应用中，一般情况下带冲量的梯度下降法还是最主流的，不过对于优化中收敛不好的情况，自适应算法常能收到奇效。但是一种常见的情况是，在优化的后期，自适应算法尤其是AdaDelta和RMSProp常会出现梯度反复震荡的现象，效果不如带冲量的梯度下降法。

上述所有的梯度下降方法均基于当前位置的梯度计算下一个点的位置，而实际的损失函数是极其复杂的，因此下一个位置的可信度较低，优化路径需要走很大的弯路，计算效率较低。作为深度学习中的另一种优化方法的牛顿法，是梯度下降方法的发展，牛顿法是利用局部的一阶偏导和二阶偏导信息，去推测整个目标函数的形状，进而可以求得近似函数的全局最小值，然后将当前的最小值设定为近似函数的最小值。