[发明专利]一种基于多模态信息融合的车辆再识别方法及装置

说明书

本发明公开一种基于多模态信息融合的车辆再识别方法及装置，涉及智能停车管理领域，所述方法包括：从监控视频中提取待查询车辆图像；将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取车辆的车牌字符；从预置数据库中获取不同车辆分别与车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表。本发明可以有效提高车辆再识别的准确率，进一步地很好的区分了车辆之间的类间差异和类内差异，能够适应真实场景下的各种应用需求。本发明可用于智能停车管理领域。

技术领域

本发明涉及智能停车管理领域，特别涉及一种基于多模态信息融合的车辆再识别方法及装置。

背景技术

车辆作为城市监控中的重要对象，在检测、跟踪、调度等大量与车辆相关的任务中引起了广泛关注。车辆再识别是找出不同摄像机所拍摄到的同一辆车，或同一摄像机在不同光照、不同视角下拍摄到的同一车辆。通过车辆再识别技术，可以实现跨镜头自动识别并锁定同一辆车，在城市交通调度、违法车辆追踪等具体任务中，起着十分重要的作用，有利于智能交通和智慧城市的规划与发展。

目前常见的车辆再识别方法通常包含如下几种类型：一种是利用传感器来解决车辆再识别的问题。例如，通过地磁传感器、红外射频传感器等进行车辆再识别，然而这种方法所需成本较高，安装环境要求复杂，不适用于大规模推广使用。第二种方法是通过车牌进行识别，实现车辆跨摄像头的追踪定位，但是在很多情况下，车牌由于光照、遮挡、污损等各种原因，导致车牌号码识别不准确，进而导致车辆再识别的误差较大；第三种方法是基于车辆局部外观特征进行车辆再识别，然而由于车辆局部外观特征对于车辆的反映情况较为片面，进而导致车辆再识别进度较低。

发明内容

为解决上述技术问题，本发明提供一种基于多模态信息融合的车辆再识别方法及装置，可以解决现有再识别方法仅通过车辆外观或者是车牌号码进行车辆再识别，所应用的识别特征较为单一，识别精度较低的问题。

为实现上述目的，一种基于多模态信息融合的车辆再识别方法，其特征在于，所述方法包括：

从监控视频中提取待查询车辆图像；

将所述待查询车辆图像作为预置多分支监测机制网络模型的输入，提取所述车辆的全局特征和多个局部特征，并根据多个局部特征中的车牌区域提取所述车辆的车牌字符；

从预置数据库中获取不同车辆分别与所述车辆的全局特征、多个局部特征和车牌字符之间的相似度或者匹配的联合概率，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符，所述预置数据库中保存有不同车辆分别对应的全局特征、多个局部特征和车牌字符；

根据不同车辆与所述待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表。

进一步地，所述方法还包括：

从监控视频中提取待查询车辆图像的时空信息；

根据不同车辆与待查询车辆之间匹配的联合概率和所述待查询车辆图像的时空信息预测所述车辆的相对行驶方向；

根据不同摄像头之间的拓扑关系、所述车辆相对行驶方向、以及预置车辆时空转移模型，得到所述车辆与不同车辆之间的时空匹配概率，所述预置车辆时空转移模型是根据不同车辆分别对应的历史车辆行驶时空数据建立的。

进一步地，所述根据不同车辆与待查询车辆之间的相似度或者匹配的联合概率生成车辆重识别排序表的步骤包括：

根据不同车辆与待查询车辆之间匹配的联合概率或者相似度，以及所述车辆与不同车辆之间的时空匹配概率生成车辆重识别排序表。

进一步地，从监控视频中提取待查询车辆图像的步骤包括：