[发明专利]一种基于分块卷积神经网络的细粒度图像分类方法

说明书

一种基于分块卷积神经网络的细粒度图像分类方法，涉及细粒度图像识别技术领域，解决现有方法将原始图像平均分块后输入到卷积神经网络中用于细粒度图像分类，存在感受野限制较弱的问题，本发明不引入额外的参数与运算，在预测过程中保留通用卷积神经网络的高效性，不需要过大的感受野的特性将输入特征图进行分块，每块分别进行卷积操作后，再重新拼接，具有较强的限制性。本发明将卷积的感受野按需要进行限制，使网络更加关注局部区域的特征，更适合应用于细粒度图像分类任务。本发明所述的细粒度图像分类方法，在不引入更多参数的前提下，限制卷积层的感受野范围，使卷积神经网络能够寻找较小的有判别力的局部区域。

技术领域

本发明涉及细粒度图像识别技术领域，具体涉及一种基于分块卷积神经网络的细粒度图像分类方法。

背景技术

在细粒度图像识别技术领域中，现有基于人工智能和深度学习的方法大多直接将图像输入到卷积神经网络(Convolutional Neural Network，CNN)中，通过多层卷积和池化层操作，在前一层的输出特征图(Feature Map)上提取特征图，逐层提取并获得感受野(Receptive Field，RF)，即特征图上每个特征点映射到输入图片上的范围)更大的特征图，最终得到感受野为整幅图像尺寸大小的特征图(理论感受野可能大于整幅图像尺寸大小)并用于细粒度图像分类。但是，多数现有方法主要通过在图像上寻找有判别力的局部区域，用于识别图像中物体的种类，例如鸟类中不同颜色的翅膀和不同形状的喙，机动车中不同形状的车灯和轮胎。在这种情况下，更小的感受野能够使模型更好地提取图像上的局部特征，进而寻找较小的有判别力的局部区域。然而，现有的卷积神经网络框架主要通过引入复杂度较高、参数量较大的操作，但是仍然很难限制卷积层的感受野大小。

细粒度视觉分类(Fine-Grained Visual Classification，FGVC)是传统图像分类任务的子任务，指的是对某特定类别物体进行更加细化的分类，例如：区分不同品种的鸟或狗、不同型号的汽车或飞机等。细粒度分类比传统分类任务更具有挑战性，因为目标物体与同类别物体的差异可能会大于目标物体与不同类别物体的差异，比如两只同类的鸟可能因为姿势不同，导致区别很大；而两只不同类的鸟，可能因为体态接近，只在鸟喙、鸟尾等局部区域有结构和纹理的差异。

随着深度学习的发展，CNN已经成为图像分类任务的主流解决方案。CNN主要由以下几部分组成：(1)卷积层，用于特征提取；(2)池化层，用于特征选择和信息过滤；(3)全连接层，对提取到的特征进行非线性组合以得到最终输出。在CNN中，RF的概念指的是指定层的输出特征图上一个特征点映射到输入图片上的范围，而卷积层和池化层都有增大感受野的效果，网络相邻层间的感受野关系计算方式为：

其中r^(l)指第l层卷积层或池化层的感受野，k^(l)指第l层卷积层或池化层的核大小，s^(l′)指第l′层卷积层或池化层的步长。

现有的细粒度分类方法主要分为两种：(1)基于局部定位的方法，需要先利用卷积神经网络提取特征，并找到多个有判别力的区域，再对这些区域从原图上进行裁剪，分别执行特征提取与分类操作，导致预测时间较长；此外，这类方法大多要提前设定用于分类的区域个数，大大限制了模型的灵活性。(2)基于端到端特征编码的方法，这类方法大多会在全连接层之前生成一个高维向量，来提高模型表达能力以适应细粒度分类任务。而过高的维度带来的额外运算量则大大限制了模型效率。

对于传统的卷积神经网络来说，其普遍感受野很大，对一般的图像分类任务来说，这可以让模型依据更大范围的信息进行判断；但是对于细粒度任务来说，过大的感受野增加了类内差异对网络的影响，使其很难关注局部的细节。

现有文献《基于拼图与渐进式多粒度学习的细粒度视觉分类》该方法将原始图像平均分块并打乱分块后直接输入到卷积神经网络中用于细粒度图像分类，不同之处在于(1)该方法只在原始图像上进行分块；(2)该方法通过打乱分块的方法限制感受野，限制较弱。

发明内容