[发明专利]基于重识别的车辆多目标检测和轨迹跟踪方法

权利要求书

1.一种基于重识别的车辆多目标检测和轨迹跟踪方法，其特征在于，包括如下步骤：

步骤1、数据采集工作

使用摄像头预先采集车辆在停车场中行驶的视频，利用多个摄像头在多个角度对同一时间段的同一画面进行拍摄，获得多辆车在同一画面中行驶的视频数据；

步骤2、车辆重识别模型训练和测试

利用步骤1当中采集的数据或公开车辆数据集对重识别模型进行训练；

首先，对采集的多角度摄像头视频进行人工标注，从每帧图像中截取出车辆图片，并以“车辆ID_C摄像头ID_视频帧数”的方式命名，将相同车辆不同角度的图片分别放在以对应车辆编号为文件名的文件夹当中作为训练集，并再以同样的方式获得与训练集车辆编号不同的几张图片作为测试集；

然后，将图片输入ResNet50模型，并对ResNet50模型进行改造：将原模型最后的ReLU激活层和全连接(FC)层去掉，在模型第四层的输出与最终分类器FC层之间添加一个批处理归一化(BN)层，使得每层的输入都满足正态分布；BN层之前的输出利用三元组损失函数式(2.1)进行训练，如式(2.1)所示，a,p代表正样本对车辆图像，a,n代表负样本对图像，D_a,p和D_a,n分别代表正样本对和负样本对特征之间的距离，α代表正样本对投影的相似程度比负样本对投影的相似程度至少高出的界限，L_tri为三元组损失函数；

在利用三元组损失函数进行模型训练的基础上添加如式(2.2)所示的中心损失函数L_center来获得具有高区分性的特征；所述三元组损失函数解决的是类间的差异，用于扩大正样本对与负样本对之间的距离，而在训练重识别模型时，通过进一步添加中心损失减小正样本之间的距离，将两个损失函数结合使模型更好地区分属于相同ID和不同ID的车辆图像；如式(2.2)所示，其中f_t表示批处理归一化层之前的属性输出，c_t表示输出f_t的y_t类中心,b代表一个批量次的总图象数，t代表该批量次中第t张图像；

通过在交叉熵损失函数中添加标签平滑处理：

将经过批处理归一化层之后的输出利用标签平滑处理的交叉熵损失作为网络的ID损失，如式(2.3)所示，其中p_i表示模型输出类别i的预测概率，y表示真实的车辆ID标签，N代表总的车辆ID数，ε设置为0.1，q_i的设置用于减少模型在训练集上的置信度；

最终利用式(2.4)所示的混合损失函数对网络进行训练，其中L_tri、L_id、L_center分别代表三元组损失、ID损失和中心损失函数，μ取0.005；混合的损失函数在原始单一损失函数训练的基础上用于提高最终模型重识别的准确率；

L＝L_tri+L_id+μL_center (2.4)

在模型训练的过程中，采用随机擦除进行数据增强，将训练集图片中的某些像素随机赋值；采用随训练过程调节的网络学习率，共将数据通过网络n₁次，并从n₀次开始，将学习率以如式(2.5)所示的指数形式下降,其中n_i表示当前数据通过网络的次数，a设置为0.01；

最后，将训练得到的网络权重进行保存，提供给步骤5使用；

步骤3、准备工作

首先，将摄像头固定在合适位置并打开；

接着，判断摄像头是否正常打开，如果已正常打开，就继续执行程序，否则，终止程序运行；

步骤4、车辆检测

首先，利用OpenCV软件的VideoCapture类的grab和retrieve函数捕捉和解码测试视频中的每一帧图像，并将读取进来的BGR格式图像转换为RGB格式；

然后，将处理后的每帧图像通过Darknet53神经网络框架，网络的权重采用文件yolov3.weights；Yolov3中每个网格预测三个边界框bounding box，检测网络的输出是三条预测支路，分别是对原图进行32倍降采样，得到较大的感受野；16倍降采样，得到中等的感受野和8倍降采样，得到较小的感受野下进行检测；每条支路的输出用一个字典表示，该字典包括三个键，分别代表先验框anchor box的宽高尺度，每个网格的anchor box个数，以及对每个bounding box的关于框位置、目标性评分和针对80个类别的概率预测；

接着，将上一步的输出利用式(2.6)～(2.9)获得关于每个网格三个bounding box的所有预测信息；其中t_x、t_y、t_w、t_h代表网络输出的每个bounding box预测的检测框的位置，c_x、c_y是每个网格相对于图像左上角的距离，p_w、p_h是anchor box的宽高尺度；然后，对于每一个种类的概率，将所有的预测框按照预测概率从高到低排序，设定合适的阈值，利用非极大抑制(NMS)方法将大于该阈值的识别框筛选出来作为最能表现物体的检测框，得到筛选后预测框的四个顶点坐标，目标置信度以及每个anchor box框出的物体类别；

b_x＝σ(t_x)+c_x (2.6)

b_y＝σ(t_y)+c_y (2.7)

最后，选择上一步当中类别为车辆的物体，并将获得的车辆坐标和置信度提供给步骤5；

步骤5、车辆的单摄像头多目标追踪

首先，初始化余弦距离测量和跟踪器；

然后，按照步骤3所获得的输出结果在原图中用边框画出属于车辆的目标，利用步骤2得到的重识别模型提取出每张图片中框出的车辆图片的视觉特征，用detections数组存放每一帧所有检测目标预测框的坐标信息，目标置信度以及用一维向量表征的视觉特征信息；

接着，将跟踪状态分布向前传播一步并执行测量更新和跟踪管理：

先将跟踪信息当中的所有目标分为确认的轨迹confirmed_tracks和未确认的轨迹unconfirmed_tracks。unconfirmed_tracks当中又包含两类，分别为初始默认状态tentative和删除的轨迹deleted；将没有匹配成功的检测目标detections看成是新生成的轨迹，状态标注为tentative；如果在后面的连续3帧中都有新的检测目标与其匹配上，轨迹状态就会变为confirmed；若有任何一帧没有被匹配上，就会变成deleted；

在匹配的过程中，首先构造matching_cascade函数对confirmed_tracks中的轨迹和当前的检测detections进行级联匹配，得到匹配上的轨迹，未匹配上的轨迹以及未匹配上的检测；其中函数使用的成本矩阵cost_matrix由基于卡尔曼滤波的马氏距离和基于外观匹配的余弦距离共同决定，如式(2.12)所示，其中c_i,j表示第i次目标跟踪与第j次检测之间距离的计算结果，加权系数λ取0.3，d⁽¹⁾(i,j)和d⁽²⁾(i,j)分别为(2.10)和(2.11)所示的马氏距离和余弦距离；

所述卡尔曼滤波的马氏距离式(2.10)所示，其中d_j表示第j个bounding box的检测状态，y_i是轨迹在当前时刻的预测值detections，S_i是利用卡尔曼滤波器预测得到的矩阵；

所述外观匹配的余弦距离式(2.11)所示，由第一步初始化，其中r_j表示第j个boundingbox检测d_j的视觉外观描述，r_k表示第k条轨迹图库图像中最后长度为100的匹配上的特征的均值；

将未匹配上的检测目标通过设定合适的IOU阈值的方式根据匈牙利算法进一步得到过去的检测目标与新检测目标的匹配对；

最后，如果轨迹没有匹配目标的时间超过预先设置的参数max_age，那么认为目标已经离开了视野范围，那么轨迹状态由confirmed修改为deleted；

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j) (2.12)

根据上述算法进一步得到的输出：包括匹配之后的车辆的四个顶点坐标以及车辆对应的轨迹ID；

步骤6、根据步骤5得到的每一帧匹配上的车辆坐标，对每辆车辆的轨迹进行可视化。