[发明专利]一种基于多层协调卷积神经网络的细粒度图像分类方法

说明书

本发明涉及深度学习领域和图像分类领域，具体涉及一种基于多层协调卷积神经网络的细粒度图像分类方法。本发明实现了在细粒度图像分类任务上对关键区域定位并提取特征，利用图像多尺度裁剪和填充训练不同卷积层，从而融合浅层网络和深层网络特征，同时通过打乱局部区域破坏图片整体性，并通过位置编码记录原始位置，以减少打乱图片带来的噪声，较现有的分类方法，本发明所涉及的多层协调细粒度分类方法具有更高的准确度。

技术领域

本发明涉及深度学习领域和图像分类领域，具体涉及一种基于多层协调卷积神经网络的细粒度图像分类方法。

背景技术

传统的分类任务一般指粗分类，比如猫和狗。由于他们的区别的特征较大，分类任务较容易。而细粒度分类是图像分类的子任务，主要研究同类别的子类别，比如，以狗为例，哈士奇和阿拉斯加因为血统相近导致在外表上及其相似，差异仅仅局限在几个局部区域，比如眼睛的颜色、额头的毛色形状等。细粒度识别关注点在于局部特征，对于一张图片，局部特征是很多的，怎么在众多的局部特征学习到有用的特征，这是一个难题。特别是在图片比较少的情况下，很容易学到错误的特征，这样就是过拟合于训练集。近年来大部分工作围绕着注意力机制可以让网络更加关注局部关键区域，提高分类准确率。

细粒度分类的方法主要包括两种：一种是基于强监督的分类模型，强监督除了使用类别标签外，还需要使用人工标注的物体标注框和局部部位标注框等额外信息，比如WeiX S等人通过Mask-CNN算法在训练过程中的局部定位模块使用到了人工标注的部位标注点和分类标签，Part R-CNN和Pose Nornalized CNN在区分域提取过程中使用到了物体标注和部位标注点等额外的人工标注的信息。大量的人工标注成本非常昂贵，所以基于弱监督学习的分类方法是主流趋势。另一种是基于弱监督的分类模型，弱监督模型仅仅依赖类别标签，不再使用额外的部位标注信息。如Ge等人在2019年提出一种分类模型。该模型利用CAM通过一个分类模型得到图片的关键区域，再通过CRF修正与目标检测方法迭代产生更合适的目标proposal(多个)，再在这些proposal中利用补充模型选择算法选出最合适的proposal，再利用LSTM进行特征提取并分类，标签只有图像的分类标签，因此是弱监督算法。为了学到关键区域和特征，除了使用标准的基础分类网络以外，Chen等人提出了破坏和重建学习(Destruction and Construction Learning,DCL)方法来提高细粒度图像识别精度。现有的方法虽然提取的特征具有一定的标识能力，但是如何在只有类别标签的情况下，有效提取关键区域的特征是具有挑战性的。

发明内容

基于现有技术存在的问题，本发明提供了一种基于多层协调卷积神经网络的细粒度图像分类方法，本发明通过充分利用卷积网络各层特点，多层特征协调以提高最终分类精确度。本发明的技术方案如下：

获取图像数据集，并对图像数据集中的待分类图像进行预处理；

采用卷积神经网络提取出待分类图像的图像特征，并输入定位子网，利用定位子网获取定位关键区域，得到待分类图像的关键区域子图；

对所述关键区域子图进行多尺度的切割填充，并随机交换各个图像块，得到多组不同尺度的切割填充子图；

对每组切割填充子图中的图像块进行位置编码，并将对应的位置编码特征图按照通道和切割填充子图连接；

依次将不同尺度的切割填充子图分别输入到预设的训练子网的第一分类模型中，得到对应类别的概率值；

将不同尺度的切割填充子图的对应类别的概率值输入到预设的训练子网的第二分类模型中，通过加权平均后，得到待分类图像的细粒度分类结果。

进一步的，所述利用定位子网获取定位关键区域，得到待分类图像的关键区域子图包括：

对提取出的图像特征按照通道求和，将得到的求和特征图进行双线性上采样，得到与待分类图像相同大小的显著图；