[发明专利]基于双线性模型多层特征融合的细粒度车型识别方法

说明书

本发明公开一种基于双线性模型多层特征融合的细粒度车型识别方法，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，将参数矩阵分解为两个一阶向量；(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，将参数矩阵分解为两个一阶向量；(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，将参数矩阵分解为两个一阶向量；(40)多层特征融合：融合多层特征，得到车型细粒度特征。本发明的细粒度车型识别方法，计算复杂度低、准确性高。

技术领域

本发明属于智能图像识别技术领域，特别是一种具基于双线性模型多层特征融合的细粒度车型识别方法。

背景技术

细粒度车型识别是对同一大类下不同子类别车型进行更加精细化的分类。其目的是对任意角度及场景下的车辆图像判断出车辆生产厂商、车辆型号等具体信息。利用细粒度车型识别技术可以在自动驾驶领域对路况进行更好的分析，同时交警也能过通过细粒度车型识别更方便的对违章车辆进行排查。除此之外，细粒度车型识别在其他许多领域也具有广泛的应用价值，例如路段交通流量监测分析、车辆销售辅助分析和道路视频监控等。

细粒度车型识别方法主要集中在以下两个方面：车辆的目标检测和对检测目标的分类。首先通过目标检测算法对车辆的前脸、大灯等部件进行定位，接着分别对每个部件提取特征，最后将所有部件的特征综合起来对目标车辆进行分类。其中根据使用的是手工设计的特征还是卷积神经网络特征，可以将细粒度车型识别方法分为基于手工特征和基于深度卷积特征两大类。

由于细粒度图像研究的目标在视觉上非常相似，带有区分性的信息往往存在于细小的局部区域，因此早期很多方法采用人为设计的特征对输入车辆图片先进行目标检测，之后再提取特征进行分类。但总体而言，手工设计的特征对于最终分类而言未必是最优的，且在复杂场景下很难准确对车辆进行检测，因而泛化能力不强。

近年来随着硬件计算能力的提升和深度学习技术的快速发展，一些国内外学者开始借助卷积神经网络优异的特征提取能力开展细粒度车型识别的研究。基于深度卷积特征的方法在细粒度车型识别任务上取得了显著成果，但是卷积神经网络针对部件的检测非常耗时，模型的计算复杂度很高，这对于大规模图像分析任务而言是致命的。

因此，现有技术存在的问题是：细粒度车型识别计算复杂度高、准确度低。

发明内容

本发明的目的在于提供一种基于双线性模型多层特征融合的细粒度车型识别方法，计算复杂度低、准确性高。

实现本发明目的的技术方案为：

一种基于双线性模型多层特征融合的细粒度车型识别方法，包括如下步骤：

(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(40)多层特征融合：采用成对跨层交互的双线性池化和单个跨层交互的双线性池化，融合多层特征，得到车型细粒度特征。

与现有技术相比，本发明的显著优点为：

1、计算复杂度低：本发明采用B-CNN模型完成端到端的分类，避免了对局部区域的检测，简化了网络模型，降低了计算复杂度；