[发明专利]一种基于注意力机制的目标跟踪算法

说明书

本发明公开了一种基于注意力机制的目标跟踪算法。基于检测的目标跟踪，主要面临以下两个方面的挑战：其一是目标跟踪的质量往往取决于目标检测的质量。其二则是在目标跟踪过程中，存在ID切换和合并的问题。因此，本发明根据上述问题，基于EfficientDet算法提出了一种基于注意力机制的目标跟踪算法，从运动预测和外观特征表示两个角度进行了改进，以达到优化目标跟踪算法对于目标跟踪场景下存在的ID切换和合并的问题的适应能力。

技术领域

本发明涉及深度学习中的目标跟踪领域，针对视频图像中的目标被遮挡而导致的ID切换和合并的问题，提出一种基于注意力机制的目标跟踪算法。

背景技术

近年来，随着目标跟踪的不断发展，越来越多的跟踪算法逐渐落实到了实际应用中。长时目标跟踪也渐渐得到了关注，长时目标跟踪是目标跟踪领域的一个重要分支，相比于短时目标跟踪，长时目标跟踪场景往往伴随着较长的视频序列，这更加贴切实际的应用场景，更具有实际意义。相比于目标跟踪算法在较短的数据集上对目标进行跟踪，长时目标跟踪更关注于能够在尽可能长时间下跟踪目标，这也使其更具有实用价值。

多目标跟踪(MOT)是计算机视觉中的核心问题。它识别和区分帧中的每个对象并跟踪它们直到它们离开场景。除了在对象周围绘制矩形边界框并指示其类别的对象检测之外，MOT算法还为每个框分配一个ID以区分相同的类实例。MOT可以被视为数据关联问题，因为目标是关联跨多个帧的检测。多目标跟踪方法根据初始化方法可分为基于检测的多目标跟踪DBT(Detection-Based Tracking)和基于初始框无需检测器的多目标跟踪DFT(Detection-Free Tracking)。DFT方法需要手动识别目标，然后在后续帧中对其进行跟踪。然而，在大多数MOT实时应用中，我们没有目标的先验知识。DBT方法通过检测每一帧中的对象并在视频播放时完成轨道来构建轨道。因此，DBT方法更适合MOT。根据处理方式，MOT方法可分为在线方法和离线方法。在线方法仅使用当前帧和前一帧，因此，更适合实时应用。Simple Online and Real-time Tracking(SORT)及其深度扩展(DeepSORT)是通过检测框架进行的简单、快速和有效的多对象跟踪。它们的主要优点是简单性和速度。但是，它们仍然存在一些问题，例如身份切换、实例合并和许多误报，导致跟踪结果无法用于计数等后续任务。

发明内容

为了优化多目标跟踪中存在的ID切换和实例合并的问题，本发明提出了一种基于注意力机制的长时目标跟踪算法。该算法基于EfficientDet算法，并做出了网络结构的改进。具体步骤如下：

步骤1：将两个连续的视频图像帧作为检测网络的输入，这两张图像通过相同的主干网络和BiFPN网络，得到五个不同空间分辨率的特征图；

步骤2：通过注意力特征映射，利用物体在当前帧中的位置来预测它在下一帧中的位置；

步骤3：在检测器失效或者发生遮挡的情况下，转而使用卡尔曼滤波器进行运动预测，并引入外观特征描述模块，通过重用步骤1中的特征，进行目标的重识别。

与现有技术相比，本发明的有益效果是：

(1)在EfficientDet中加入了运动预测，并且在运动预测中隐式地使用外观特征，利用连续两幅视频图像之间的注意力实现了更稳健的检测和运动预测。

(2)从EfficientDet中直接提取目标的特征描述符，通过利用相应图像中感兴趣区域的注意力，有效地解决了ID切换和合并的问题。

附图说明

图1为：Non-Local Block结构图。

图2为：修改后的EfficientDet的结构图

图3为：基于EfficientDet的特征表示结构图

具体实施方式

下面结合附图对本发明进一步说明。