[发明专利]一种基于多尺度显著图定位的细粒度图像分类方法

说明书

本发明公开了一种基于多尺度显著图定位的细粒度图像分类方法，具体包括如下步骤：101）预处理步骤、102)获取代表性特征图步骤、103）图像块获取步骤、104）训练预测步骤；本发明提供基于特征图分组的显著性区域定位方法，将不同尺度，且不同部位的图像块放入网络，充分利用多粒度多尺度的信息；并且通过特征图语义分组方式，降低了整体算法的消耗，同时对显著性区域定位更加准确的一种基于多尺度显著图定位的细粒度图像分类方法。

技术领域

本发明涉及图像分类技术领域，更具体的说，它涉及一种基于多尺度显著图定位的细粒度图像分类方法。

背景技术

伴随着计算机技术的高速发展，数码产品得到广泛运用，随之而来，图像数据如雨后春笋一般急剧增长，使图像管理成为急需解决的问题。依靠传统人工方式对图像进行分类、组织和管理非常耗时且代价昂贵，所以，通过计算机对图像中目标内容进行自动分析和处理，从而将图像数据快速、规范、自动的进行组织、归类和管理，是一种有效解决图像管理问题的方法。图像分类一般是指粗粒度的图像分类，主要是对物体的不同类别进行分类，比如，“鸟”和“狗”，而相比较，细粒度图像分类是对同一类物体下不同子类进行分类，比如，“狗”类别下“博德猎犬”和“爱尔兰猎犬”的分类，图像分类是计算机视觉的核心问题，伴随着2017年最后一届ImageNet比赛结束，标志粗粒度图像分类已经走到一个拐点，Beyer等人针对粗粒度图像分类瓶颈展开分析，将预测错误图片分成“明显预测错误”、“实际预测正确”、“无法确定”三大类进行统计分析，其中，“无法确定”类主要是由于细粒度类别造成的错分类，因此解决细粒度图像分类难点有助于整个分类问题获得关键性突破，而且随着人们日常应用的需求，细粒度图像分类的应用也愈发普及，细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景。

发明内容

本发明克服了现有技术的不足，提供基于特征图分组的显著性区域定位方法，将不同尺度，且不同部位的图像块放入网络，充分利用多粒度多尺度的信息；并且通过特征图语义分组方式，降低了整体算法的消耗，同时对显著性区域定位更加准确的一种基于多尺度显著图定位的细粒度图像分类方法。

本发明的技术方案如下：

一种基于多尺度显著图定位的细粒度图像分类方法，具体包括如下步骤：

101)预处理步骤：对图片进行预处理，将其统一大小为448×448×3，采用ResNet-50作为模型特征提取网络来对图片进行处理，分别对ResNet-50处理后的conv3_4、conv4_6层进行1×1卷积，卷积后进行SG约束，约束1×1卷积后的特征图按语义进行分组，分组数量为G个，此处G分别为5和3；

102)获取代表性特征图步骤：对步骤101)中分组后得到的特征图进行组内按通道进行求和，再取平均数，得到代表性特征图；对ResNet-50处理后的最后一层conv5_3处的特征图，进行按通道求和并求均值，得到数量为1的特征图，从而得到三组的每个通道的特征图，即conv3_4、conv4_6、conv5_3处分别得到5个通道、3个通道、1个通道的代表性特征图；

103)图像块获取步骤：对三组的每个通道的特征图进行激活得到梯度图，选择梯度图中最大响应点作为关键点，然后以关键点为中心生成边框，按边框四角坐标在原图上进行裁剪得到图像块；

104)训练预测步骤：将步骤103)获得的不同尺度不同位置的图像块，将其放入ResNet-50网络中进行训练得到训练模型；将原图进过训练模型预测的结果和所有图片块依次进过训练模型取得的预测结果进行取平均，得到最后的分类结果。

进一步的设定一个卷积特征X∈R^N×HW，将每个通道表示为一个特征图m_i∈R^HW，其中i∈[1,N]，m_i表示第i个通道上的特征图；X表示ResNet-50处理后的一个特征图，N表示通道数，H,W分别表示特征图的长和宽。