[发明专利]一种基于多模态信息融合的车辆再识别方法及装置

权利要求书

1.一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法包括：

从监控视频中提取待查询车辆图像；

将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取所述车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取所述车辆的车牌字符；

从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符；

根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表。

2.根据权利要求1所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法还包括：

从监控视频中提取所述待查询车辆图像的时空信息；

根据不同车辆与待查询车辆之间匹配的联合概率和所述待查询车辆图像的时空信息预测所述车辆的相对行驶方向；

根据不同摄像头之间的拓扑关系、所述车辆相对行驶方向、以及预置车辆时空转移模型，得到所述车辆与不同车辆之间的时空匹配概率，所述预置车辆时空转移模型是根据不同车辆分别对应的历史车辆行驶时空数据建立的。

3.根据权利要求2所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述根据不同车辆与待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表的步骤包括：

根据不同车辆与待查询车辆之间匹配的联合概率或者相似度，以及所述车辆与不同车辆之间的时空匹配概率生成车辆重识别排序表。

4.根据权利要求1所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，从监控视频中提取待查询车辆图像的步骤包括：

从监控视频中获取的待查询车辆图片上进行车辆目标检测，获取完整地被边界框标出的车辆目标图像；

剔除所述车辆目标图像中的冗余背景信息，得到所述待查询车辆图像。

5.根据权利要求1-4任一项所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述全局特征为所述车辆的整体外观特征，所述多个局部特征包括车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征。

6.根据权利有要求5所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度的步骤包括：

根据不同车辆以及所述车辆的整体外观特征、车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征、以及车牌字符特征，构造三元损失函数并计算不同车辆与所述车辆之间的特征距离，得到不同车辆分别与所述车辆之间的相似度。

7.根据权利有要求5所述的一种基于多模态信息融合的车辆再识别方法，其特征在于，所述获取不同车辆与所述车辆匹配的联合概率的步骤包括：

基于贝叶斯概率模型，根据公式Pa＝PF×θ×Ptpo进行计算，其中，Pa为候选车辆与所述待查询车辆匹配的联合概率，PF为候选车辆与待查询车辆之间车辆车头外观特征、车辆车尾外观特征、车辆车牌区域外观特征、车辆整体外观特征匹配的联合概率，Ptpo为候选车辆与待查询车辆之间的车牌匹配概率，θ为车牌识别的置信度。