[发明专利]一种融合多属性和局部特征的车辆重识别系统和方法

权利要求书

1.一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述系统包括如下模块：

通用特征提取模块：该模块的功能是对设定尺寸的车辆图像进行通用特征提取；该模块的具体结构是：采用修改后的Resnet-50网路作为通用特征提取模块的网络结构；车辆图像首先经过64通道7*7的卷积核，步长为2的卷积运算，得到64个通道112*112尺寸的特征图；然后经过3*3大小，步长为2的最大池化，得到56*56大小的特征图，接下来是三个stage组合层，这三个stage组合层和原始的ResNet-50残差网络相同；所述的三个stage组合层，第一个stage组合层包含3个bottleneck层，第二个stage组合层包含4个bottleneck层，第三个stage组合层包含6个bottleneck层；每个bottleneck瓶颈层都包括三个卷积核大小分别为1*1，3*3，1*1的卷积层，对处理图像进行卷积操作；所述的这前三个stage组合层中，都会将特征图尺寸减半，通道数加倍；但是第四个stage组合层和原始的ResNet-50残差网络中不同，第四个stage组合层没有降采样即没有将特征图尺寸减半；最终得到1024通道，尺寸为14*14特征图作为后续模块的输入；

全局特征模块：该模块的功能是根据所述的通用特征提取模块所提取到的全局特征，对车辆全局信息进行全局特征提取；该模块的具体结构是：由全局平均池化层、批量归一化层BN和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，首先经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆图像的全局特征fg；再将fg进行批量归一化层BN处理得到1024*1的特征向量，最后接上一个1024*N的全连接层，N为车辆类别数目；

属性识别模块：该模块的功能是对车辆的属性信息进行识别，包括车辆方向、品牌、车型和车辆颜色，根据车辆方向信息生成对应的掩模Mask，提取车辆的属性特征；该模块的具体结构是：由一个Bottleneck层分别联结四个属性分支而成，其中每个属性分支由全局平均池化层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，经过一个Bottleneck层后得到1024通道的14*14的特征图，然后把该特征图输入到所述的四个属性分支；车辆方向属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆方向属性特征向量Fatto，然后将该特征向量接一个1024*M1的全连接层，其中M1为车辆方向属性的数目；品牌属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为品牌属性特征向量Fattm，然后将该特征向量接一个1024*M2的全连接层，其中M2为品牌属性的数目；车型属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车型属性特征向量Fattt，然后将该特征向量接一个1024*M3的全连接层，其中M3为车型属性的数目；车辆颜色属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆颜色属性特征向量Fattc，然后将该特征向量接一个1024*M4的全连接层，其中M4为车辆颜色属性的数目；

面向方向的DropBlock模块：该模块的功能是结合车辆方向信息，进行掩模Mask操作，提取车辆的面向方向DropBlock的特征；该模块的具体结构是：由Bottleneck层、全局平均池化层、批量归一化BN层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，先经过一个Bottleneck层后得到1024通道的14*14的特征图；然后将所述的属性识别模块生成的14*14大小的掩模Mask矩阵，与前面得到的特征图进行掩模操作，然后经过全局平均池化层，得到1024*1的特征向量，该特征向量即为面向方向的DropBlock的特征向量fl，将该特征向量进行批量归一化BN层处理得到1024*1的特征向量，最后接上一个1024*N的全连接层，N为车辆类别数目。

2.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：根据设定的训练集，对于所述的通用特征提取模块、全局特征模块和面向方向的DropBlock模块，采用交叉熵损失函数和TripletLoss损失函数进行训练；对于所述的属性识别模块，采用交叉熵损失函数进行训练。