[发明专利]一种基于多维特征的车辆重识别方法及装置

权利要求书

1.一种基于多维特征的车辆重识别方法，其特征在于：包括如下步骤：

通过监视摄像头获取含有目标车辆的图像帧；

对图像帧进行车辆重识别模型的识别：从图像帧中利用车辆重识别模型进行车辆识别得到第一识别域；

对图像帧进行多维特征模型的识别：从图像帧中利用多维特征模型获取车辆的多维特征，并且对多维特征进行编码，基于编码之后的多维特征进行匹配得到第二识别域；

求得第一识别域和第二识别域的交集得到目标车辆集；

多维特征识别模型按照如下步骤训练得到：从获得的图像帧中建立车辆数据集，所述车辆数据集包括车辆图像和车辆真实信息；

按照车辆特征构建多维特征训练集和多维特征测试集；

所述多维特征识别模型主干网络采用Resnet101网络，作为基础特征提取网络，并加入注意力机制，基础特征提取网络作为其他的属性识别分支的起点，通过神经网络结构搜索技术构建的多分支车辆多属性识别网络，一次识别车辆的多维特征；

对待识别车辆利用多维特征识别模型获得的多维特征映射成相应特征码，按照hash方式将所述特征码进行编码加权，得到待识别车辆的车辆结构化特征向量；

还包括一待识别数据库，所述待识别数据库包括目标车辆经过hash编码得到的目标车辆的车辆结构化特征向量；

计算待识别车辆的车辆结构化特征向量以及目标车辆的车辆结构化特征向量的余弦相似度，根据余弦相似度的大小排序得到最相似的若干识别结果形成第二识别域；

所述车辆重识别模型的骨干网络采用稀疏化Resnet101，损失函数采用三元损失函数；

还包括用于训练车辆重识别模型的训练集，所述车辆重识别训练集为三元组形式，所述三元组形式为每对训练数据包括两张不同监视摄像头拍摄的相同的车辆图像和一张与之不同的车辆图像；

所述车辆重识别模型的采用三元损失函数和梯度下降算法在车辆重识别训练集上计算梯度并更新网络参数，并利用测试集进行测试以选取识别准确率超过重识别阈值的模型，以得到最终的车辆重识别模型；

所述车辆重识别训练集还包括将图片归一化统一尺寸并进行去噪处理的过程；

所述归一化及去噪处理采用opencv中直方图均衡化及双边滤波算法；

所述车辆特征包括车身颜色、车牌颜色、车型、车辆品牌、车牌、车身最大长度、车身最大宽度、前座人数、车尾类型、瑕疵特征、改装特征。

2.根据权利要求1所述的一种基于多维特征的车辆重识别方法，其特征在于：通过监视摄像头获取含有目标车辆的图像帧包括如下步骤：

通过监视摄像头获取目标车辆的监测视频；

从监视摄像头的视频流中提取含有目标车辆的图像帧。

3.一种基于多维特征的车辆重识别装置，其特征在于：包括：

获取模块，用于通过监视摄像头获取含有目标车辆的图像帧；

第一识别模块，用于对图像帧进行车辆重识别模型的识别：从图像帧中利用车辆重识别模型进行车辆识别得到第一识别域；

第二识别模块，用于对图像帧进行多维特征模型的识别：从图像帧中利用多维特征模型获取车辆的多维特征，并且对多维特征进行编码，基于编码之后的多维特征进行匹配得到第二识别域；多维特征识别模型按照如下步骤训练得到：从获得的图像帧中建立车辆数据集，所述车辆数据集包括车辆图像和车辆真实信息；按照车辆特征构建多维特征训练集和多维特征测试集；所述多维特征识别模型主干网络采用Resnet101网络，作为基础特征提取网络，并加入注意力机制，基础特征提取网络作为其他的属性识别分支的起点，通过神经网络结构搜索技术构建的多分支车辆多属性识别网络，一次识别车辆的多维特征；对待识别车辆利用多维特征识别模型获得的多维特征映射成相应特征码，按照hash方式将所述特征码进行编码加权，得到待识别车辆的车辆结构化特征向量；还包括一待识别数据库，所述待识别数据库包括目标车辆经过hash编码得到的目标车辆的车辆结构化特征向量；计算待识别车辆的车辆结构化特征向量以及目标车辆的车辆结构化特征向量的余弦相似度，根据余弦相似度的大小排序得到最相似的若干识别结果形成第二识别域；

所述车辆重识别模型的骨干网络采用稀疏化Resnet101，损失函数采用三元损失函数；还包括用于训练车辆重识别模型的训练集，所述车辆重识别训练集为三元组形式，所述三元组形式为每对训练数据包括两张不同监视摄像头拍摄的相同的车辆图像和一张与之不同的车辆图像；所述车辆重识别模型的采用三元损失函数和梯度下降算法在车辆重识别训练集上计算梯度并更新网络参数，并利用测试集进行测试以选取识别准确率超过重识别阈值的模型，以得到最终的车辆重识别模型；所述车辆重识别训练集还包括将图片归一化统一尺寸并进行去噪处理的过程；所述归一化及去噪处理采用opencv中直方图均衡化及双边滤波算法；所述车辆特征包括车身颜色、车牌颜色、车型、车辆品牌、车牌、车身最大长度、车身最大宽度、前座人数、车尾类型、瑕疵特征、改装特征；

综合模块，用于求得第一识别域和第二识别域的交集得到目标车辆集。