[发明专利]一种双向自回归的跟踪方法

说明书

本发明涉及一种双向自回归的跟踪方法。本发明首先将当前帧原始图像送入卷积神经网络CNN中提取特征图，再经由ID嵌入头部和Transformer分别生成当前帧的ID嵌入和输出嵌入，然后对下一帧的原始图像重复以上操作，得到下一帧的输出嵌入，将当前帧的ID嵌入与下一帧的输出嵌入共同输入重检查网络中得到当前帧的增强特征，然后将增强特征输入到Transformer编码器和解码器，得到当前帧校准后的目标检测和跟踪结果。相比现有的多目标跟踪方法，本发明将后续帧的检测和跟踪信息反向自回归到当前帧进行二次检测和跟踪，能有效恢复漏检和错检的目标，对改善目标轨迹的连续性有明显效果。

技术领域

本发明涉及一种双向自回归的跟踪方法，属于计算机视觉领域。

背景技术

多目标跟踪(multiple objects tracking，MOT)是将视频(或时间序列图像)中检测出的目标各自赋予具有区分性的跟踪ID的过程。它是计算机视觉中最基本但最具有挑战性的任务之一，被广泛应用于视频监控、自动驾驶等领域。

目前多目标跟踪算法大体框架相似，大多采用先检测后跟踪的方法，即先检测出每一帧的所有目标，然后采用数据关联算法实现不同帧同一目标的关联。这种方法的跟踪性能很大程度上依赖于前期目标检测的结果。由于多目标跟踪过程中存在频繁的遮挡，造成跟踪过程中目标发生遮挡时，被检测到的目标数量发生变化，被遮挡的跟踪目标轨迹无法匹配当前帧的检测目标，无法判别该轨迹是因遮挡暂时消失还是离开检测区域停止跟踪，造成一部分被遮挡的轨迹因为误判终止跟踪。在目标遮挡结束后，原先跟踪的目标再次出现在检测区域内，若原跟踪轨迹已停止跟踪，此时该目标会生成新的初始轨迹，从而导致目标身份发生变化。而且在一些图像中，由于摄像机分辨率、目标距离等因素造成多个目标的外观相似，无法单从外观特征判断目标身份，也会造成目标漏检、错检和跟踪轨迹错误匹配等问题，影响多目标跟踪的准确性。

发明内容

本发明提供了一种双向自回归的跟踪方法，以用于解决当前帧的目标遗漏和目标错误跟踪等问题，本发明能有效地检测和跟踪目标。

本发明的技术方案是：一种双向自回归的跟踪方法，所述方法的步骤如下：

步骤1：提取当前帧特征图：将当前帧的原始图像输入卷积神经网络CNN，获得特征图；

步骤2：获得当前帧ID嵌入：将步骤1得到的特征图送入ID嵌入头部(ID Embeddinghead)，首先对特征图进行自注意力和互注意力操作分别获得自注意力图和互注意力图；再通过空间注意力和通道注意力将自注意力图和互注意力图融合得到特征图的ID嵌入；

步骤3：获得当前帧输出嵌入：将步骤1得到的特征图送入Transformer进行编码和解码，以获取输出嵌入；

步骤4：获得后续帧输出嵌入：将下一帧原始图像输入，重复步骤1和步骤3，得到后续帧输出嵌入；

步骤5：生成当前帧增强特征：将步骤2和步骤4分别得到的ID嵌入和后续帧输出嵌入共同作为输入，送入反馈网络分支重检查网络(Re-check network)，以得到增强特征；

步骤6：获得当前帧校准后的检测和跟踪结果：使用Transformer对增强特征进行操作，以得到校准后的结果；

步骤7：不断循环步骤1～步骤6，对目标轨迹进行跟踪

作为本发明的进一步方案，所述步骤1中，卷积神经网络CNN采用ResNet50。