[发明专利]一种基于模板更新和无锚框方式的目标跟踪方法

说明书

本发明公开了一种基于模板更新和无锚框方式的目标跟踪方法，主要用于对视频目标进行跟踪，确定目标在视频中的位置和大小。该方法包括对训练数据集进行裁剪；对卷积神经网络的构建和改进；实现基于无锚框和椭圆标注下的预测框回归结构；更新目标模板并进行特征融合以提高模板鲁棒性；使用带距离度量的重叠率回归损失函数提高训练的收敛效果和对目标的拟合程度等步骤。本发明解决了跟踪方法中目标模板随时间逐渐退化，跟踪漂移甚至丢失的问题，使得改进后的网络结构更加鲁棒和稳定，在保持实时跟踪的基础上实现较高精度的跟踪效果。

技术领域

本发明涉及计算机视觉、深度学习以及图像处理领域，特别是涉及基于孪生网络的特征提取，模板更新和无锚框方式的目标回归等领域。具体涉及一种基于模板更新和无锚框方式的目标跟踪方法，主要针对视频图像中的目标在运动过程中产生形变、旋转、遮挡等变化，导致算法模板容易出现退化，目标跟踪出现漂移和丢失等问题。

背景技术

目标跟踪作为计算机视觉领域的基础研究任务之一，在智能监控、无人驾驶、安防等领域受到广泛应用。简单来说，目标跟踪旨在给出初始帧标注情况下，通过学习其初始外观特征，预测视频后续帧中该目标的位置和形态大小。然而目前跟踪算法仍然面临许多问题，包括目标剧烈的外观形变、旋转、消失重现、快速移动等问题，都可能致使跟踪算法出现目标丢失情况。因此一个鲁棒而稳定的跟踪方法是急需和必要的。

现有的跟踪算法大多采用基于有锚框的方式完成跟踪任务，该方式通过人工阈值来筛选预设的多个锚框，采用平移和缩放等方式消除偏移量，回归目标位置。然而，预设锚框需要设置包括尺度和锚框纵横比等超参数，这一手工设定将会导致最终跟踪框很难达到最优的拟合效果，从而限制了跟踪精确度的上限。

此外孪生网络算法大多仅采用的初始模板作为参考帧搜索目标，不更新初始目标模板。这一不更新模板的方式会导致过分依赖初始模板。当目标受到剧烈形变，旋转，遮挡等问题影响时，特征信息会产生显著变化，会导致模板有用信息随时间呈指数衰减，无法较好的和现有目标匹配，造成目标漂移甚至丢失，以及发生漂移后难以从跟踪失败中恢复等问题。部分算法会简单的逐帧更新样本，但逐帧的更新会严重的影响了速度，无法达到实时的跟踪速度。算法训练过程中的损失函数方面，目前算法都是使用逻辑损失、Smooth L1损失或者IOU损失，而这些损失函数对算法训练的收敛效果还不足以满足社会需求和复杂场景，面对预测框和真实目标相差较远时难以较好回归预测框。综上所述分析，本发明提出一种基于模板更新和无锚框方式的目标跟踪方法。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于模板更新和无锚框方式的目标跟踪方法，该方法充分利用视频后续帧中跟踪目标的特征信息来更新模板信息，保持在跟踪过程中目标模板的可用性，改进跟踪算法的鲁棒性和稳定性，同时保证更新模板不影响跟踪的实时速度。

为达到上述目的，本发明提供了一种基于模板更新和无锚框方式的目标跟踪方法，所述的方法包括如下步骤：

步骤1：根据图像中的目标位置和大小，分别对目标模板图像和搜索区域图像进行区域裁剪，以裁剪后的目标模板图像和搜索区域图像组成的图像对作为训练数据集；

步骤2：构建基于模板更新的卷积神经网络，所述基于模板更新的卷积神经网络包含3个完全相同的分支卷积网络结构，分别为第一分支、第二分支、第三分支，第一分支为当前模板分支，用于生成已有模板的特征；第二分支为更新模板分支，用于完成模板信息的更新并获取特征图；第三分支为搜索区域分支，用于完成对搜索区域图像进行特征提取；三分支中第一二分支先进行加权融合后再与第三分支进行逐层互相关运算，得到响应得分图；

步骤3：构建图像分类和目标位置回归子网络；分类是对图像进行前景背景的二分类，回归采用无锚框方式直接预测目标的中心点和矩形框的上下左右四条边框位置；

步骤4：基于公开训练数据集，训练所述步骤3和步骤4组成的基于模板更新和无锚框方式的跟踪网络，获得训练好参数的基于模板更新和无锚框方式的跟踪网络；