[发明专利]基于双线性模型多层特征融合的细粒度车型识别方法

权利要求书

1.一种基于双线性模型多层特征融合的细粒度车型识别方法，其特征在于，包括如下步骤：

(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；

(40)多层特征融合：采用成对跨层交互的双线性池化和单个跨层交互的双线性池化，融合多层特征，得到车型细粒度特征。

2.根据权利要求1所述的细粒度车型识别方法，其特征在于，所述(10)第一层的层内自相关信息提取步骤包括：

(11)第一层层内双线性特征表示：第一层的层内自相关信息C×C维的双线性特征表示为，

bilinear(l,I,f_A,f_A)＝f_A(l,I)^Tf_A(l,I)＝X^TX (1)

式中，X为第一层卷积层提取的特征记，维度为C×M，x表示X在某一位置的特征分量，即卷积神经网络某一通道的特征向量；

(12)第一层层内双线性特征表示输出：完整的双线性模型为：

z_i＝x^TW_ix (2)

其中W_i∈R^c×c为投影矩阵，z_i为该位置B-CNN的双线性特征表示输出；

(13)投影矩阵分解：将投影矩阵W_i分解为两个一阶向量：

其中A_i∈R^c；

(14)层内自相关信息输出：学习张量表示W＝[W₁,W₂,...,W_o]∈R^c×c×o，获得第一层卷积层的层内自相关信息，o维输出z∈R^o：

其中A∈R^c×d为投影矩阵，P∈R^d×o是分类矩阵，是Hadamard积，d则是决定联合嵌入维数的超参数。

3.根据权利要求1所述的细粒度车型识别方法，其特征在于，所述(20)第二层层内自相关信息提取步骤包括：

(21)第二层层内双线性特征表示：第二层的层内自相关信息C×C维的双线性特征表示为，

bilinear(l,I,f_A,f_A)＝f_A(l,I)^Tf_A(l,I)＝Y^TY (5)

式中，第二层卷积层提取的特征记为Y，维度为C×N，y表示Y在某一位置的特征分量；

(22)第二层层内双线性特征表示输出：完整的双线性模型为：

z_i＝y^TW_iy (6)

其中W_i∈R^c×c为投影矩阵，z_i为该位置B-CNN的双线性特征表示输出。

(23)第二层投影矩阵分解：将投影矩阵W_i分解为两个一阶向量，

其中B_i∈R^c。

(24)第二层层内自相关信息输出：学习张量表示W＝[W₁,W₂,...,W_o]∈R^c×c×o，获得第二层卷积层的层内自相关信息，o维输出z∈R^o：

其中B∈R^c×d为投影矩阵，P∈R^d×o是分类矩阵，是Hadamard积，d则是决定联合嵌入维数的超参数。