[发明专利]基于双线性注意力汇集和卷积长短期记忆的车型识别方法

说明书

本发明公开了一种基于双线性注意力汇集和卷积长短期记忆的车型识别方法，分为三个阶段，第一阶段为注意力图汇集阶段，在主干网络的特征提取部分添加一个注意力学习模块分支，将注意力模块学到的注意力图与主干网络的原输出特征图做双线性汇集操作，生成对车型分类贡献较大的局部特征图。第二阶段将局部特征图转化为特征矩阵，第三阶段引入ConvLSTM结构，串联多个Cell，进一步学习局部特征之间的空间关系，然后将ConvLSTM结构输出的特征图送入到全连接层，使用分类器分类。本发明学习不同局部特征间的空间关系，获得丰富的特征信息，使得网络模型能够应对跨摄像头视频监控下不同姿态的车型识别，有效地提高细粒度车型识别的准确率。

技术领域

本发明涉及一种车型识别方法，尤其涉及一种基于双线性注意力汇集和卷积长短期记忆的车型识别方法。

背景技术

近年来，人民生活水平大幅度提升，机动车数量也节节攀升。车辆总数的增加在给人们出行带来便利的同时也给道路交通带来了极大的压力，产生了众多安全隐患。如交通堵塞、车辆剐蹭、追尾事故、以及网约车相关的刑事案件等，这些亟待解决的问题都需要更加高效的交通管理方式来解决。智能交通的发展在一定程度上缓解了这些问题，但是仍未得到根本性解决。而车型识别是智能交通最重要的方面之一，在我们日常生活的各个领域同样发挥着重要的作用，如高速收费站ETC快速通道，通过车型识别获取车辆的全面信息，结合车牌信息可以防止套牌换卡行为，提高通行效率。移动端的车型识别，通过拍照识别车辆型号即可获取车辆型号参数，在车辆销售、选购、租赁场景上也大有用途。但是在跨摄像头车型识别中，因车辆所处摄像头监控视角不同，导致车身姿态变化很大,从而增加了算法的识别难度。因此针对跨摄像头视频监控下多姿态车型识别问题成为计算机视觉领域研究者关注的重点之一，这也是智能交通面临的挑战之一。

跨摄像头视频监控下多姿态车型识别在交通管理工作中至关重要，是目前人工智能领域重要的研究课题，也是计算机视觉中典型的细粒度分类任务。这种细粒度车型识别主要通过学习类别间区分性特征表达来分辨表观高度相似的车辆，然而在实际的跨摄像头视频监控下，车辆所处摄像头监控视角不同，环境光照不同，车辆自身的姿态变化差异大，而且众多不同型号的车辆外观差距很小，区分度很低，从而给车型识别增加了很大难度，仅通过现有的粗粒度卷积神经网络很难获得准确的分类结果。

发明内容

发明目的：本发明的目的在于提供一种有效地提高细粒度车型识别准确率的基于双线性注意力汇集和卷积长短期记忆的车型识别方法。

技术方案：本发明的基于双线性注意力汇集和卷积长短期记忆的车型识别方法，包括以下步骤：

步骤一、在主干网络的特征提取部分添加注意力模块分支，输入车辆图片到主干网络，将注意力模块学到的注意力图与主干网络的原输出特征图做双线性汇集操作，生成对车型分类贡献较大的局部特征图；

步骤二、将生成的局部特征图分别做全局最大池化操作，得到的向量再进行拼接操作输出特征矩阵P；

步骤三、将特征矩阵P重塑后输入到ConvLSTM结构中，并在结构中设置Cell进行串联，将ConvLSTM结构输出的特征图依次送入平均池化层、全连接层，使用分类器进行分类，对分类后的图像采用联合优化策略进行优化。

进一步地，步骤一具体包括：

(1.1)添加注意力模块到主干网络，采用的主干网络为ResNet-50，将车辆图片输入到主干网络中进行特征提取；

(1.2)在ResNet-50的conv5_3层输出的特征图作为注意力模块的输入特征图，通过1×1的卷积核生成注意力图；

(1.3)对步骤(1.2)中得到的每个注意力图与conv5_3层输出的特征图进行逐元素相乘操作，得到局部特征图。