[发明专利]一种基于跨层精简双线性网络的细粒度鸟类识别方法

说明书

本发明公开了一种基于跨层精简双线性网络的细粒度鸟类识别方法。包括以下步骤：首先对CUB‑200‑2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入VGG‑16卷积神经网络提取鸟类图像的特征图谱。为考虑层间特征交互，对得到的不同高层卷积的特征图谱提取出三组精简双线性特征表示，对其进行归一化操作后并级联送入softmax分类器。最后利用交叉熵损失并佐以成对混淆损失优化整个网络。本发明所描述的识别方法具有特征维度低、计算量少、识别率高、鲁棒性强等优点，针对细粒度图像分类这一特定领域，具备一定使用价值，可以进行实际应用。

技术领域

本发明设计了一种基于跨层精简双线性网络的细粒度鸟类识别方法，涉及深度学习、细粒度图像分类。

背景技术

细粒度分类主要目的是在相同基本类别下对其繁多的子类别进行区分，例如不同种类的鸟类、花卉等。与粗粒度图像相比，细粒度图像类间差异细微，类内差异显著，细粒度特征的获取往往更加复杂、更加依赖图像的标注来确定模型中的复杂参数，尽可能地避免少量数据引起的过拟合现象。早期细粒度识别方法，依赖人工标注的局部信息，对分类模型进行强监督学习。局部标注通常需要相应领域的专家才能完成，导致此类方法人工参与程度高。近年来，仅需图像类别标签的弱监督学习方法成为了研究热点。

主流的基于弱监督信息的细粒度分类方法主要有两种类型。第一种类型采用“定位”子网络辅助“分类”主网络的结构，通过定位网络提供的局部信息(如部件位置或分割掩模)增强分类网络的学习能力。此类方法在定位和识别能力之间需要进行权衡，这可能会降低单个网络的性能。这种权衡也反映在实践中，即训练过程中通常会涉及两个网络的交替优化或单独训练两个网络，然后再进行联合调整。第二种类型是端到端的特征编码，通过编码卷积特征映射的高阶统计量来增强卷积神经网络的学习能力。这类方法寻求图像的鲁棒性表示，传统表示符包括VLAD、具有SIFT特征的Fisher矢量。此类模型以平移不变的方式捕获局部特征交互，这特别适用于纹理和细粒度识别任务。

本发明基于端到端编码的精简双线性网络(Bilinear Convolutional NeuralNetwork，BCNN)，提出了基于跨层精简双线性网络的细粒度鸟类识别方法，充分利用来自不同卷积层的特征图谱的层间特征相关性和交互性，并加以成对混淆对交叉熵损失函数正则化。该方法弥补了单一卷积层得到的双线性特征的不充分性，较BCNN特征维度低、计算量少，在CUB-200-2011数据集上取得86.6％的识别率。

发明内容

本发明通过以下技术方案来实现上述目的，包括以下步骤：

(1)鸟类图像特征提取。首先对CUB-200-2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入卷积神经网络提取图像的深度表征向量。

(2)跨层精简双线性特征融合。为考虑层间特征交互，将步骤(1)得到的不同高层卷积的特征图谱进行精简双线性运算得到三组双线性特征表示，对其进行归一化操作后级联，再送入softmax分类器。

(3)利用交叉熵损失并佐以成对混淆损失优化网络。将一个训练batch中的样本随机划分为两组图片对，若图片对具有相同的标签，则直接计算交叉熵损失；若图片对具有不同的标签，则在交叉熵损失的基础上增加成对欧式损失作为正则化项。

附图说明

图1鸟类特征图像提取网络

图2不同高层卷积激活响应示意图

图3精简双线性运算示意图

图4跨层精简双线性网络框图

图5带成对混淆损失的网络训练方法

具体实施方式

下面结合附图对本发明做进一步说明：