[发明专利]一种多任务卡口车辆以图搜图的系统及方法

摘要

本发明涉及一种多任务卡口车辆以图搜图的系统及方法，本发明利用深度神经网络建立多任务定位和多任务特征提取网络，基于改进的边缘盒检测技术以及级联损失函数的方式训练定位网络，分别定位和特征检测卡口车辆图像中的车辆，年检标和车灯三个部位，结合了全局和局部特征，损失函数采用softmax损失和三元组损失函数的损失函数来训练网络，最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索，检索采用改进的k‑means算法找出K类，然后利用SVM形成哈希函数来进行汉明码编码，提高了检索速度，节省存储空间。

主权项

1.一种多任务卡口车辆以图搜图的方法，其特征在于，包括如下步骤：

(1)获取卡口车辆图片后对图片进行处理与分类，并对卡口车辆图片集进行优化处理得到数据集；

(2)构建并训练获得基于深度神经网络模型的多任务定位网络，提取车辆图片中车辆、年检标、车灯和背景的位置区域信息；构建并训练获得基于深度神经网络模型的多任务特征提取网络，提取车辆、年检标、车灯位置区域的图像特征，获得车辆特征；

(3)基于车辆特征建立车辆特征的k‑means聚类；

(4)利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中；

(5)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。

2.根据权利要求1所述的一种多任务卡口车辆以图搜图的方法，其特征在于：所述步骤(1)包括如下步骤：

(1.1)对获取到的卡口车辆图片人工标注车辆、车辆年检标、车灯位置的区域坐标信息和类别；

(1.2)分别截取卡口图片中的车辆、年检标、车灯位置区域；

(1.3)将不同时间和地点的截取区域按照车牌进行分类得到数据集；

(1.4)对卡口车辆图片进行添加噪声样本完成数据集的优化。

3.根据权利要求2所述的一种多任务卡口车辆以图搜图的方法，其特征在于：所述多任务定位网络的训练步骤如下：

(i)将标注好的卡口图片分为车辆、年检标、车灯和背景四类，作为训练集；

(ii)基于训练集，使用深度神经网络提取特征，得到特征层；

(iii)采用固定分割窗口策略对特征层进行分割，完成候选框的提取，具体如下；

(iii.1)选取三个尺寸进行分割，分别按照2*2,3*3,5*5三个不同尺寸进行分割；

(iii.2)每个方格进行不同的长宽比变换进行尺度变换，长宽比分别为1:1、2:1、1:2三种不同的长宽比，则单个样本产生的候选框个数为(2*2+3*3+5*5+7*7)*5，即114个特征层候选框；

(iii.3)采用非极大抑制来融合上述候选框，消除候选框的重叠区域；

(iv)计算候选框的位置损失和类别损失，并按照1:1作为损失函数；

(v)反复迭代循环训练网络至损失值不再减小为止，得到训练完后的多任务定位网络。

4.根据权利要求3所述的一种多任务卡口车辆以图搜图的方法，其特征在于：所述步骤(iv)具体如下：

1)采用级联函数计算位置损失：

定位的原理是寻找预估目标和真实目标框之间的回归函数，其中i表示特征向量，记回归函数分别为f_x(i),、f_y(i)、f_w(i)、f_h(i)，x、y、w、h表示盒子的中心坐标和宽高，x,x_e,x_t分别表示候选框，预测框和真实标定框的中心点x的坐标；

估计目标与真实目标之间的变换关系如下所示：

x_t＝w_ef_x(i)+x_e

y_t＝w_ef_y(i)+y_e

则估计与真实目标的回归函数为：

同理滑窗和估计目标的回归函数为：

第一个回归损失函数：

其中M为：

另外计算真实目标与估计目标的损失，则第二个损失函数：

2)计算类别损失：

对于所有筛选框进行标定，当一个候选框完全包含标定区域且不属于标定区域的部分不超过候选框区域的5％时认为该候选框标定结果为目标类，否则为背景类，将所有候选框预测的类别作为softmax层的分类标签与真实标签进行对比；

softmax损失函数如下：

其中N表示样本个数，x_i表示第i个样