[发明专利]一种基于激活值敏感性的Dropout正则化方法

说明书

技术领域

本发明涉及模式识别、计算机视觉和深度学习领域，特别涉及一种随机Dropout正则化方法。

背景技术

随着人工智能的发展,卷积神经网络(CNNs,Convolutional Neural Networks)获得了较多的关注，并被广泛的应用于计算机视觉领域的多个任务上，例如，图像分类、目标识别、物体检测等。为了提高卷积神经网络的性能，相关研究人员提出了很多又深又宽的网络结构。但是，由于训练数据的有限性，复杂的卷积神经网络非常容易导致过拟合问题，从而影响了网络的泛化能力，影响了网络的性能。

正规化是解决过拟合问题、提升网络性能的比较有效的方法。丢弃(Dropout)[1]是一个典型的正则化方法，它简单有效，可以应用于几乎所有的卷积神经网络结构。传统的Dropout以一定的比例将特征图上的特征点的激活值设置为零，被置零的特征点将不会参与到卷积神经网络的正向传播和反向传播的训练过程中。在未被置零的特征点中，包含激活值较大的特征点和激活值较小的特征点。但是，该方法存在一定的局限性。首先，Dropout是一种随机的方法，每个特征点被置零的概率是相等的，每次训练时置零的特征点都不同，实验无法重复，实验结果存在一定的随机性；其次，由于特征点的激活值不同，对网络的影响也不同，激活值较大的特征点和激活值较小的特征点有不同的作用，而Dropout随机的将激活值置零，没有考虑激活值的大小。

丢弃连接(DropConnect)是另外一种正则化方法，该方法是以一定的比例将卷积滤波器的权重(卷积核的参数)置零。与Dropout相比，Dropout的作用对象是特征图上的特征点，DropConnect的作用对象是滤波器的权重，两者的作用对象不同，但有着相同的原理。所以，DropConnect也存在一定的局限性。

参考文献

[1]Srivastava,N.,Hinton,G.E.,Krizhevsky,A.,Sutskever,I.,&Salakhutdinov,R.(2014).Dropout:a simple way to prevent neural networks from overfitting.Journal of Machine Learning Research,15(1),1929-1958.

[2]Wan,L.,Zeiler,M.,Zhang,S.,Cun,Y.L.,&Fergus,R.(2013).Regularization of neural networks using dropconnect.In Proceedings of the 30th International Conference on Machine Learning.

[3]M.Lin,Q.Chen,and S.Yan,“Network in network,”CoRR,abs/1312.4400,2013.

发明内容

本专利的目的是提供一种Dropout正则化方法，该方法能够降低传统Dropout的随机性，充分利用激活值较大的特征点，提高网络的泛化能力，减轻现有卷积神经网络中存在的过拟合问题。为了解决上述问题，本发明提供了如下的技术方案：

一种基于激活值敏感性的Dropout正则化方法，用于图像分类，其数据训练阶段包括下列步骤，

1)准备数据：收集不同类别的图像并标记图像类别作为标签；

2)结构设计：设置深度卷积神经网络结构，设置卷积层数和每个卷积层特征图的个数和大小；

3)初始化：(1)确定卷积滤波器权重，通过随机初始化的方法对参数进行初始化，设定迭代次数；(2)设定Dropout中选用的概率密度函数。

4)前向计算：把训练数据批量输入到该网络中，按照设置的网络，从第一层到最后一层逐层计算，在最大池化层后，将每个特征点被置零的概率由步骤3)中设置的概率密度函数确定，然后由均匀分布函数生成一个0到1之间的随机数，并用该随机数与每个特征点置零的概率进行对比，如果该随机数比概率小，那么该特征点的激活值置零；如果该随机数等于或者大于概率，那么该特征点的激活值保留；

5)反向传播：从最后一层到第一层，应用反向传播算法对卷积滤波器的权重参数的进行更新、优化；

6)迭代：重复步骤4和步骤5，通过迭代来不断优化网络参数，直到达到终止条件。