[发明专利]一种基于跟踪-学习-检测的视觉目标跟踪方法

说明书

本发明公开了一种基于跟踪‑学习‑检测的视觉目标跟踪方法，属于计算机视觉领域。首先，本发明从深度特征和核相关滤波的角度出发，建立了一种基于跟踪‑学习‑检测的视觉目标跟踪方法，可完成复杂场景下长时间目标跟踪的任务；其次，本发明针对卷积神经网络的特征图进行了研究和测试，并分析了不同卷积层的特征图对视觉目标跟踪的影响。最后，本发明融入目标检测的思想，可以进行跟踪失败后对目标进行再检测，从而实现对单目标的长时间跟踪。本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性。

技术领域

本发明属于计算机视觉领域，特别涉及一种基于跟踪-学习-检测的视觉目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉领域的重要组成部分，但由于视觉目标会出现光照、形变，遮挡等多种复杂场景，复杂背景下的通用目标跟踪在计算机视觉领域仍然是一项非常具有挑战性的研究任务。目前目标跟踪技术不断地被应用到人们的生产生活以及军事等各个方面，如视频监控、智能无人机、精确制导、智能分析等。

通常视觉目标跟踪是指单目标跟踪。单目标跟踪则是对一个未知目标，通过视频第一帧给定的目标初始化状态(尺度信息与位置信息)进行跟踪。跟踪的结果是在后续帧中，利用跟踪方法计算出目标的位置和尺度信息，并以矩形框(跟踪框)的形式在原视频上显示这些信息。

由于算法速度快，效果好，近年来基于相关滤波的视觉目标跟踪方法吸引了众多研究者的目光。相关滤波器通过将输入特征回归为目标高斯分布来训练滤波器。并在后续跟踪中寻找预测分布中的响应峰值来定位目标的位置。相关滤波器在运算中巧妙应用快速傅立叶变换获得了大幅度速度提升。目前基于相关滤波的拓展方法也有很多，包括核化相关滤波器方法，尺度估计的相关滤波器方法等。

由于深度学习的迅速兴起，研究者们同时也将深度学习应用于视觉目标跟踪上，基于深度学习的方法大致分为两种，一种是利用深度模型，另一种则是利用深度特征。基于深度学习的目标跟踪方法准确性较高但是速度较慢。

发明内容

本发明的目的在于提供一种基于跟踪-学习-检测的视觉目标跟踪方法，将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性，同时加入检测机制以应对目标消失在视场后再次出现在视场内的情况，从而实现长时间目标跟踪。

整体流程：获取一帧图像后采用ImageNet预训练好的VGG-19卷积神经网络中的卷积层提取特征，然后通过相关滤波计算出响应图，进行多峰值检测，确定目标的所在位置。当平均峰值能量APCE(average peak-to-correlation energy) 与峰值均大于历史均值时，判定跟踪成功，然后更新模型，并在线训练检测器；当APCE与历史均值的差大于特定值时，判定跟踪失败，然后不更新模型，同时调用检测器对跟踪器进行初始化。

学习部分：学习器利用深度学习中卷积神经网络的卷积层提取目标特征，其中卷积神经网络的卷积层采用ImageNet预训练好的VGG-19中的三个卷积层；

跟踪部分：跟踪器包含四个相关滤波器，其中三个是用来检测目标的位置，另一个为尺度滤波器用来检测目标的的尺度变化；

检测部分：检测器由三个级联分类器构成，分别为方差分类器，随机森林分类器和最近邻分类器。其中随机森林分类器和最近邻分类器需要在线训练

所述的整体流程，具体步骤如下：

步骤1在视频的第一帧手工标定或者从文档中读取目标的位置信息和尺度信息，并初始化检测器；位置信息和尺度信息以跟踪框的形式呈现。

步骤2将跟踪框的1.5倍大小提取的图像块送入VGG-19卷积神经网络，运算完成后提取Conv5-4,Conv4-4和Conv3-4产生的特征图。

步骤3利用三个深度特征初始化三个核相关滤波器。