[发明专利]一种非对齐相似车辆前窗差异信息检测方法

说明书

本发明公开了一种非对齐相似车辆前窗差异信息检测方法，具体由3个模块构成：车窗标记点检测模块、透视变换模块以及差异区域检测模块构成。这三个模块车辆图像对作为输入，输出差异区域的候选框以及对应的置信度。本发明通过提供高精度的车辆档风玻璃标记点模块；采用透视变换解决相机光心以及内部参数变换带来的影响；采用双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

技术领域

本发明涉及车辆差异区域检测技术领域，特别是一种非对齐相似车辆前窗差异信息检测方法。

背景技术

随着安防摄像头的不断普及，车辆精准搜索已经成为了公共安全中的一个重要课题。之前的研究人员都通过度量学习的方式将车辆表现为一个全局特征。这种方法虽然能够很好的搜查到外形相似的车辆，但是车窗后面的细节差异信息并不能够很好的被观察人员或者是现有的视觉算法所找到。这些细节的差异信息一方面能够直接作为一个重排序模块，提升初始检索性能的指标。另一方面，它可以通过可视化车辆图片对之间差异区域的方式，帮助视频观察人员快速的挑选出与搜索图像尽可能接近的图像，起到快速查询扩展的作用。

现有技术方案中有一定程度上解决了非对齐相似车辆前窗差异信息检测的问题，但这些方法都基本上将整个问题拆分成图像对齐以及差异性检测两个方面，有很大的局限性。同时在精度，效率及可泛化性上还存在较大的问题。对于这两部分，现有技术方案的处理方法有：

图像对齐：通过传统的图像描述算子或者是依赖深度学习的图像局部特征，他们分别提取各自图像之间的特征点并相互匹配，通过求解对应匹配点之间的单应性矩阵，完成车辆图像对之间的对齐。

差异区域检测：通过车辆图像对之间的直接相减或者是特征相减的方式获得差异特征图。之后在差异特征图的基础上完成对于差异区域的定位。这些方法一般将单一像素作为差异分析的基本单位。

但是现有技术中还存在以下缺点：

1、基于图像特征算子的图像对齐在车窗强反光情况下基本失效；

2、图像对之间的单应性变换解决不了相机光心以及内部参数的变换；

3、传统的物体检测方法无法解决差异区域这类没有特定类别信息的特征。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种非对齐相似车辆前窗差异信息检测方法，提供高精度的车辆档风玻璃标记点检测模块；采用透视变换解决相机光心以及内部参数变换带来的影响；采用双流网络结构同时包含两张输入图片，通过比较他们的高维特征确定检测差异区域。

为达到上述目的，本发明是按照以下技术方案实施的：

一种非对齐相似车辆前窗差异信息检测方法，包括以下步骤:

步骤一、通过车窗标记点检测模块采集得到m个车窗候选区域B＝{B_i|i∈{1,2,…,m}}；为此得到损失函数：其中i为候选框的索引信息；p_i为候选框属于车窗的概率，t_i代表向量化的候选框坐标；和为对应的标注信息，每一个车窗候选框拥有四个顶点V＝{V_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}；在车窗候选区域的基础上，使用通过RoI Pooling得到的特征，预测得到车窗标记点K＝{K_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}，在学习目标的设定时，将4个预测的车窗标记点K，4个车窗候选区域的顶点V以及车窗标记点的标注信息K^*；对于车窗标记点的回归，有以下的损失函数：结合损失函数：得到最终的损失函数：