[发明专利]一种基于样本差异化学习的相关滤波目标跟踪方法及系统

说明书

本发明请求保护一种基于样本差异化学习的相关滤波目标跟踪方法及系统及系统，属于计算机视觉技术领域。所述方法主要包括以下步骤：在视频初始帧获取目标的位置和大小，并训练一个尺度滤波器和定位滤波器；获得每一帧输入图像的候选区域与滤波器模型的响应图；根据响应图计算多个样本可靠度指标的值；标签标注器以指标值作依据为训练样本标注可靠度标签；最后选择与可靠度标签匹配的样本学习率来更新滤波器模型。本发明针对复杂跟踪场景中存在不可靠的训练样本问题，提出通过感知样本的可靠度来引导跟踪器差异化地学习不同样本。该方法能减轻不可靠样本对模型的污染，并缓解模型漂移，提升基于相关滤波跟踪器在复杂场景下的跟踪性能。

技术领域

本发明属于计算机视觉技术领域，具体属于一种视觉目标跟踪方法及系统。

背景技术

视频运动目标跟踪作为计算机视觉中的一项重要课题和研究热点，要求跟踪器能对视频中目标的行为进行准确地追踪定位。随着算法的不断更新，目标跟踪理论也越来越完善并受到学术界和工业界的广泛关注，目前应用于体育赛事转播、安防监控和无人机、无人车、机器人等领域。然而在实际的复杂跟踪场景下，帧画面中的运动目标通常会伴随遮挡、光照变化、尺度变化和运动模糊等多种影响因素，这导致不准确的跟踪甚至跟踪失败。

经过三十多年的研究和发展，研究学者相继提出大量的目标跟踪理论、方法和对应数据集，始终保持着对该方向深入挖掘的研究活力。近年来，改良的基于相关滤波的跟踪方法和基于深度神经网络的方法在各类视觉任务中展现出的优异性能，使得目标跟踪领域的主要研究手段集中于这两方面。基于相关滤波框架的跟踪理论在传统机器学习方法的基础上引入时频变换理论支持的样本扩充技术，提升了跟踪精度和效率；而深度神经网络则提供了较之传统特征更具鉴别性的特征表示，使得跟踪器更加鲁棒。

尽管一些前沿的滤波跟踪算法已经将深度特征融合进了滤波框架并实现了出色的跟踪性能，但这类方法仍不够重视不同帧之间样本的差异。这个问题的产生可以追溯到最早的相关滤波跟踪方法——最小均方误差滤波器(Minimum Output Sum of SquaredError,MOSSE)。MOSSE提出在模型训练过程中，以固定的学习率来学习每一帧的样本。这种更新策略有助于帮助模型在线地学习目标物体的外观变化，但是忽略了客观存在的负样本。但实际上，在跟踪场景中目标可能会遭受完全遮挡、半遮挡、光照变化等影响因素。若此时产生的训练样用于模型训练，则可能导致模型遭到严重的污染，使得跟踪失败。在MOSSE之后的研究中，大部分的工作聚焦于特征改进、抑制边界效应和尺度自适应。例如，经典方法包括核相关滤波算法(Kernel Correlation Filter,KCF)、判断尺度空间跟踪器(Discriminative Scale Space Tracker,DSST)、空间约束相关滤波器(SpatiallyRegularized Correlation Filter,SRDCF)、高效卷积操作(Efficient ConvolutionOperators,ECO)等。

上述研究内容本质上都是在提升每一个样本的质量，特征改进提升样本的可靠性，边界效应缓解样本中背景信息的干扰，尺度自适应能够提供大小更准确的训练样本。实际场景中存在的负样本带来的模型漂移风险仍没被缓解。在线识别不同样本的可靠度并进行有差异的模型训练仍是一个挑战。

经过检索，申请公开号为CN109697727A，一种基于相关滤波和度量学习的目标跟踪方法、系统及存储介质，该目标跟踪方法包括：步骤S1：在跟踪视频的第一帧获取目标的大小和位置；步骤S2：根据得到的目标信息获取目标特征和与目标相似的负样本并训练相关滤波的模板；步骤S3：通过训练得到的模板预测目标的位置，并根据响应图得到此次预测的置信度来判断是否使用度量学习网络来精确定位目标。本发明的有益效果是：本发明针对目标追踪视频的特点，先使用相关滤波模型来对当前帧进行预测，找出和目标相近的候选区域；针对这些候选区域，使用深度网络来判断其与目标的相似度；对目标追踪来说，其是对相关滤波模型的优化，加入了度量学习算法，提出了使用度量学习来优化相关滤波结果的方法；从而能准确、实时地追踪目标。