[发明专利]一种基于离线聚类的无监督对比学习的多目标跟踪方法

权利要求书

1.一种基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，具体步骤如下：

（1）、离线过程训练一个特征提取网络，先将所有帧输入到检测器，检测出所有帧中的所有车辆后输入到特征提取网络，获得所有车辆的特征向量；

（2）、对检测出的所有车辆使用密度聚类DBSCAN算法进行聚类，将不同帧的同一车辆聚类到同一类中，并计算损失，再更新特征提取网络，经过多轮聚类，学习出一个能提取出特征物体判别性特征的特征提取网络；

（3）、将步骤（2）学习好的特征提取网络用于在线跟踪，先将跟踪视频的视频帧送入主干网络中，获得当前帧的特征图，再将特征图送入到检测器中检测出当前帧中的所有车辆；

（4）、将上一帧的特征图与当前帧的特征图进行点积运算，得到两帧之间各位置之间的相似度图，再将相似度图输入两个最大池化层得到了上一帧的点（i，j）出现在当前帧的水平方向位置和垂直方向位置的概率，具体为：将相似度图经过一个的最大池化层，然后再将结果输入softmax函数，使其归一化，获得在当前帧垂直方向各个位置的概率，同样的将其送入一个的最大池化层，然后再将结果输入softmax函数，使其归一化，也就获得了在当前帧水平方向各个位置的概率，其中H和W分别为视频帧的高度和宽度；

（5）、根据步骤（4）得到的两帧每点出现在当前帧水平方向位置和垂直方向的概率，求出当前帧根据上一帧的位移量，即将出现在该点的概率乘以两点之间的水平方向或者垂直方向的距离，公式如下：

上一帧的点（i，j）在当前帧水平方向位置为k之间的距离为：

，

则水平方向的偏移量为：

，

上一帧的点（i，j）在当前帧垂直方向位置为l之间的距离为：

，

则垂直方向的偏移量为：

，

然后将位移量和上一帧的特征图作为可行变卷积网络的输入，获得上一帧增强的特征图，通过上一帧增强的特征图增强当前帧的特征图；

（6）、根据步骤（2）检测出的所有车辆，得到其检测框后将其在步骤（5）经过增强的特征图上切割下来送入到步骤（2）学习好的特征提取网络中，得到每辆车的特征向量，并且将第一帧的所有车辆特征向量作为初始化模板特征池中的每一个类中心的特征向量；

（7）、将当前帧与之前的轨迹进行关联，即与模板特征池中的类中心特征向量计算相似度，根据相似度进行关联，并且根据关联的结果对模板特征池中的类中心特征向量使用动量更新的方式进行更新；

（8）、经过30帧的跟踪关联后，对于模板特征池长时间未进行更新的类中心特征向量删除，并对特征提取网络进行更新，以便其更适合当前的跟踪任务，实现多目标跟踪。

2.根据权利要求1所述基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，所述步骤（1）具体包括如下步骤：

（11）、将所有的视频帧 输入到检测器CenterNet中，然后检测出当前帧的中心点热度图和检测出的每辆车的尺寸 ，以及每个物体的中心点的偏移量，其中H和W分别为视频帧的高度和宽度；

（12）、然后根据步骤（11）中获得的中心点热度图和尺寸以及偏移量获得每辆车的位置以及对应的检测框；

（13）、根据步骤（12）获得的每辆车所在的检测框，然后将其切割下来输入到特征提取网络中获得每辆车的特征向量。

3.根据权利要求2所述基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，所述步骤（2）具体包括如下步骤：

步骤（21）、对步骤（13）获得的所有车辆的特征向量使用密度聚类算法DBSCAN，将不同帧的同一车辆聚类到同一个类中，并赋予同样的id；

步骤（22）、 根据步骤（21）聚类的结果，同一类的车辆视为正样本，不同类的车辆视为负样本然后计算损失函数值，从而拉大不同类即不同车辆之间的距离，缩小不同帧的同一车辆之间的距离；

步骤（23）、根据步骤（21）将所有车辆聚类后的结果对特征池中的类中心特征进行更新，先将同一类中的所有车辆特征向量进行求和再求平均值，然后再使用动量更新的方式更新特征池中该类中心的特征向量，并且根据步骤（22）计算的损失函数值反向传播，更新特征提取网络；

步骤（24）、经过多轮聚类和更新过程后，学习出一个能提取出目标判别性特征的特征提取网络。