[发明专利]一种基于局部特征和深度学习的卡口车辆检索系统及方法

权利要求书

1.一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于，包括如下步骤：

(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；

(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；具体如下：

(2.1)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征；

(2.2)联合利用softmax损失和三元组损失函数进行训练，计算联合损失函数：

筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程是实现尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，距离均使用余弦距离，如下所示：

cosine_ap+α＜cosine_an

其中，表示目标样本，表示正样本，表示负样本，目标cosine_ap表示目标样本和正样本之间的余弦距离，cosine_an表示目标样本和负样本之间的余弦距离，α为一个正数，是保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数；

三元组损失函数如下所示：

其中，中分别表示样本经过网络的输出编码；softmax损失函数如下所示：

其中，N表示样本个数，x_i表示第i个样本，y_i表示第i个样本的正确标签，表示第i个样本的结果的第y_i个输出，f(x_i)_j表示第i个样本的第j个节点的输出；

则总的损失函数为：

L＝L_t+L_s

(2.3)反复迭代循环训练网络直至损失值不再减小为止，并将训练完后的网络模型存储；

(3)利用训练完成的网络模型对数据集提取车辆全局特征；

(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；

(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；

(6)对车辆图片全局特征进行k-means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；

(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。

2.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(1)包括如下步骤：

(1.1)对卡口车辆图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；

(1.2)将不同时间和地点拍摄的卡口车辆图片按照车牌进行分类后制作得到卡口图片集，并对卡口图片集添加噪声样本，优化处理后得到数据集。