[发明专利]一种基于自适应主体敏感的视觉目标跟踪方法

说明书

一种基于自适应主体敏感的视觉目标跟踪方法属于计算机视觉技术领域，包括整体流程、离线部分和在线部分。整体流程：设计了目标跟踪的流程，并设计了网络结构；将该网络各阶段特征图调整成自适应尺寸，完成孪生网络端到端跟踪过程；离线部分包括6个步骤：训练样本库生成；前向跟踪训练；反向传播梯度计算；梯度损失项计算；目标模板图像掩膜生成；网络模型训练及模型获取。在线部分包括3个步骤：模型更新；在线跟踪；定位目标区域。模型更新包括前向跟踪、反向传播梯度计算、梯度损失项计算、目标模板图像掩膜生成；在线跟踪包括前向跟踪得到相似性矩阵，计算当前跟踪结果置信度，回归目标区域。该方法能够更好地适应外观变化的目标稳健跟踪。

技术领域

本发明属于计算机视觉技术领域，涉及一种目标跟踪方法，更为具体的说，涉及一种基于自适应主体敏感的视觉目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉与视频处理中最基本的任务之一，在视频内容分析、智能交通系统、人机交互、无人驾驶、视觉导航等领域有着重要的应用。典型的在线跟踪方法在给定视频第一帧中目标的边界框后，以自动的方式完成后续所有帧的目标定位。在真实的应用场景中，由成像条件、姿态变形等因素引起的目标外观变化错综复杂，将目标与杂乱的背景区分开来，实现目标的精准跟踪是一个极具挑战性的问题。

目前，视觉目标跟踪技术有相关滤波跟踪和深度学习跟踪两类主流方法。基于训练数据的循环结构假设，并借助快速傅里叶变换进行频域操作，相关滤波类视觉目标跟踪方法获得较高的计算效率和跟踪精度。代表性的基于相关滤波跟踪的MOSSE算法，其利用快速傅里叶变换操作使跟踪速度达到了600～700帧/秒。由于模型复杂度与灵活性的限制，传统算法随着数据量的持续增加往往很易出现性能饱和，而深度学习则呈现出对海量大数据的适应力。代表性FCNT方法根据对卷积神经网络(Convolutional Neural Network，CNN)不同层特征的分析，构建特征筛选网络和互补的响应图预测网络，达到有效抑制干扰物，降低了跟踪漂移，同时对目标本身的形变更为鲁棒。深度学习类算法利用“离线预训练+在线微调”的思路，借助深度学习强大的特征表达能力，达到跟踪目的。

更进一步的思路是将视觉目标跟踪当作一种相似度匹配，在搜索区域中逐点进行模板匹配，捕捉目标主体的敏感特征，然后以最大相似度得分作为目标位置的方式更贴合跟踪任务。基于此思路的深度孪生神经网络跟踪框架，近年来展现出巨大的发展潜力。代表性的方法——SiamFC利用卷积代替相关滤波，以全卷积网络的形式输出匹配响应图，并取响应值最高点预测出目标位置。SiamRPN方法在SiamFC方法的基础上迁移目标检测领域的候选区域提案网络。然而这种方法对于同类物体的区分能力较弱，为了获得更精准的目标主体，DaSiamRPN方法针对目标干扰物，引入干扰物感知模型，增强网络的类内区分力。但是，上述几种方法仅使用第一帧作为固定模板，后续帧匹配中过程无法适应目标及场景外观变化。DSiam方法则在SiamFC方法的基础上，通过在线学习形变矩阵动态调整目标模板以适应目标外观变化，使得此方法的跟踪精度和鲁棒性进一步提升。

综上所述，现有深度跟踪方法主要通过迁移物体分类、检测等任务的卷积神经网络参数来构建深度跟踪网络。尽管这种迁移方式在许多视觉任务中都取得了成功，但是在视觉跟踪应用中，相较于传统跟踪技术还未展现出明显的优势。一个关键问题是，在视觉跟踪应用中的目标往往不具有固定的语义类别信息，感兴趣目标可以是任意的图像块，如可以是行人、车辆等语义类对象，也可以是行人或车辆上标记区域等视觉单元，且值得关注的目标主体往往形状各异，且难以用矩形框区域精准描述。因此，预先训练的深层特征在建模这些任意形式的目标时效果还不尽如人意。在真实复杂的自然场景中，模型难以自适应不同类型的目标，也未获得对目标主体敏感、有效区分前景与背景的特征表达，视觉目标跟踪方法性能还亟需进一步提升。

发明内容

本发明的目的在于克服现有技术存在的缺陷，提出了一种基于深度学习的目标前景/背景自适应分离模型，并构建杂乱背景下的目标外观深度表达，实现一种基于目标主体分析的实时视觉目标跟踪方法。

本发明是采用以下技术手段实现的：