[发明专利]针对任意视角汽车图片的细粒度车型识别方法

摘要

本发明公开了一种针对任意视角汽车图片的细粒度车型识别方法，用于解决现有车型识别方法车型识别准确率低的技术问题。技术方案是首先根据Stanford Cars数据集训练第一个分支网络，再对原始图片中的汽车区域进行定位，得到裁剪后的图片，使用裁剪后的图片训练第二个分支网络，利用Selective Search方法处理裁剪后的图片，得到多幅子图，使用第二个分支网络对这些子图进行筛选，将保留下来的图片送入第三个分支网络进行训练，然后确定每个分支网络的输出权重，将原始图片送入三个分支网络中，对网络的输出加权求和，最大输出值对应的类别即为车型类别。由于采用深度卷积神经网络提取特征，提高了车型识别的准确率。

主权项

1.一种针对任意视角汽车图片的细粒度车型识别方法，其特征在于包括以下步骤：步骤一、先将数据集原始图片送入VGG网络中进行训练，训练具有识别n类车型能力的网络模型，所述网络模型的训练是在ImageNet上预训练好的网络模型的基础上进行finetuning训练，完成第一个分支网络的训练；步骤二、利用预训练好的faster r‑cnn模型，对数据集原始图片中的汽车区域进行定位，得到相应的bounding box，然后裁剪掉不必要的背景信息，得到裁剪后的汽车图片数据集；步骤三、将裁剪后的汽车图片数据集送入第二个VGG网络中，进行同步骤一类似的finetuning训练，得到训练好的第二个分支网络模型；步骤四、对裁剪后的汽车图片数据集使用SS方法进行图片信息的挖掘，生成多幅子图，将生成的子图送入第二个训练好的VGG网络模型中，得到多个分类概率向量，若向量中的最大值大于0.5，则保留该子图，否则删除；然后将这些保留下来的子图送入第三个VGG网络中进行finetuning训练，得到第三个训练好的VGG网络模型；步骤五、步骤一到四得到三个训练好的VGG网络模型网络结构相同，但是不共享任何参数；步骤六、根据三个分支网络在数据集上的分类效果，给不同分支网络的输出赋予不同的权重，权重分别是0.3，0.5，0.2；步骤七、将测试图片的原始图片同时分别送入第一个VGG网络和faster rcnn网络中，得出第一个VVG网络输出的分类概率向量和原始图片的bounding box；步骤八、根据步骤七得到的bounding box裁剪原始图片，得到裁剪后的图片，将裁剪后的图片送入第二个VGG网络中，得到第二个分类概率向量；同时对裁剪后的图片使用SS生成多幅子图，再将多幅子图送入第二个VGG网络中，得到多个分类概率向量，然后求取每个概率向量的最大值，只保留取到最大值所对应的那张子图；将得到的唯一一张子图送入第三个VGG网络中，得到第三个分类向量；步骤九、将得到的分类向量与步骤六中赋予每个分支网络的权重对应相乘，再将相乘得到的三个值再相加，得到一个向量，最大值所对应的类别即是所识别的汽车类别序号；步骤十、再根据字典查找出汽车类别序号对应的汽车类别名称，实现车型识别。