[发明专利]一种基于感受野集成的神经网络图像分类器的优化方法

说明书

本发明公开了一种基于感受野集成的神经网络图像分类器的优化方法，包括以下步骤：从图像数据集中筛选出样本以分别构成训练集和测试集；采用平移变换对训练集进行处理，得到至少两个不同的感受野，将处理结果作为神经网络的输入，以优化出分类器模型；利用测试集对训练出的分类器模型进行正确性检验。本发明通过平移变换的方式控制神经网络的感受野，将优化资源主要集中于图像的中间区域，即最能反映图像特征的区域，同时逐步利用边缘区域进行修正，使得分类器对于图像的主要特征更为关注。本发明在同等迭代次数下，较现有训练方法可以训练出准确率更高的分类器模型。

技术领域

本发明涉及计算机视觉领域，尤其是一种基于感受野集成的神经网络图像分类器的优化方法。

背景技术

分类是通过事务的属性判断其类别的一类任务。图像分类就是判断图片中的物体所属的类别，起到分类作用的算法就是分类器。神经网络是图像分类任务当中常见的一种分类器。在计算机视觉领域，基于机器学习的图像分类方法包括训练和检验两个过程。通常的，在解决分类问题时，人们采用这样的方法：将整个数据集划分为训练集和测试集，在训练集上训练(或称为优化，在本发明中，两种名称含义相同)出分类器，在测试集上检验分类器的性能。这是机器学习对分类问题的解决办法。对于神经网络分类器来说，其训练过程是由若干次迭代构成的，每次迭代都对分类器进行了一定的更新，从而使其获得更好的分类效果。这样的过程叫做优化。损失函数是衡量神经网络在训练集上的分类效果的标尺。损失是损失函数的输出值。损失越小，神经网络在训练集上的分类效果越好。优化的过程，就是随着迭代，不停地减少损失的过程。在整个优化过程中，迭代次数往往达数万次、数十万次甚至更多。对优化速度的调节，通过对学习率的设定来实现。在神经网络的优化方法中，最常用的是随机梯度下降(Stochastic Gradient Descent，SGD)及其变种。在分类器对样本进行分类时，其依据是样本本身的属性，也就是样本的特征。对于图像分类任务来说，图像的特征就是能够推理出其类别的属性。神经网络分类器的优化，一方面是优化其提取特征的能力，一方面是优化其根据特征判断类别的能力。

神经网络包含若干层，四层及四层以上即为深度神经网络，包含深度神经网络的机器学习就是深度学习。在深度神经网络中，卷积神经网络(Convolutional NeuralNetwork，CNN)[1]被广泛应用于计算机视觉领域。

在深度学习与计算机视觉领域，感受野的含义有两种。对单个神经元来说，指该神经元的输入对应于原图像的区域。对整个神经网络来说，指神经网络所接收到的图像的范围。比如说，某神经网络接收的图像是32x32像素的RGB三通道彩色图像，那么其感受野就是32x32这样的区域。最常见的神经网络感受野有三种：32x32，224x224，227x227。

W_t+1＝W_t+V_t+1

上面两个公式是目前在神经网络优化问题中应用最广泛的随机梯度下降法。其它常用的优化方法，都是这种方法的变型。α表示学习率。

当优化时，随着迭代次数的增加，学习率一般是减小的。也就是说，在刚开始优化时，优化速度通常很快；当优化了一段时间以后，优化的速度变得较慢。这样一方面保证了优化的速度，一方面确保了优化的效果。

1、平移变换(Translation)[5]是一种图像分类领域的数据增强[3]方法。深度神经网络的参数很多，优化所需的训练样本很多，现实中的数据集的样本容量往往无法满足要求。例如，ResNet-110[2]有多达170万个参数，而CIFAR-10数据集仅有5万个训练样本和1万个测试样本，相当于每一个训练样本要优化34个参数，这就会使优化过程面临过拟合的问题。

现有的优化方法仅仅将平移变换视为一般的数据增强方法。而忽略了从概率层面上改变神经网络在优化过程中感受野的作用。