[发明专利]一种基于跟踪-学习-检测的视觉目标跟踪方法

摘要

本发明公开了一种基于跟踪‑学习‑检测的视觉目标跟踪方法，属于计算机视觉领域。首先，本发明从深度特征和核相关滤波的角度出发，建立了一种基于跟踪‑学习‑检测的视觉目标跟踪方法，可完成复杂场景下长时间目标跟踪的任务；其次，本发明针对卷积神经网络的特征图进行了研究和测试，并分析了不同卷积层的特征图对视觉目标跟踪的影响。最后，本发明融入目标检测的思想，可以进行跟踪失败后对目标进行再检测，从而实现对单目标的长时间跟踪。本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性。

主权项

1.一种基于跟踪‑学习‑检测的视觉目标跟踪方法，其特征在于：本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性，同时加入检测机制以应对目标消失在视场后再次出现在视场内的情况，从而实现长时间目标跟踪；整体流程：获取一帧图像后采用ImageNet预训练好的VGG‑19卷积神经网络中的卷积层提取特征，然后通过相关滤波计算出响应图，进行多峰值检测，确定目标的所在位置；当平均峰值能量APCE与峰值均大于历史均值时，判定跟踪成功，然后更新模型，并在线训练检测器；当APCE与历史均值的差大于特定值时，判定跟踪失败，然后不更新模型，同时调用检测器对跟踪器进行初始化；学习部分：学习器利用深度学习中卷积神经网络的卷积层提取目标特征，其中卷积神经网络的卷积层采用ImageNet预训练好的VGG‑19中的三个卷积层；跟踪部分：跟踪器包含四个相关滤波器，其中三个是用来检测目标的位置，另一个为尺度滤波器用来检测目标的的尺度变化；检测部分：检测器由三个级联分类器构成，分别为方差分类器，随机森林分类器和最近邻分类器；其中随机森林分类器和最近邻分类器需要在线训练所述的整体流程，具体步骤如下：步骤1在视频的第一帧手工标定或者从文档中读取目标的位置信息和尺度信息，并初始化检测器；位置信息和尺度信息以跟踪框的形式呈现；步骤2将跟踪框的1.5倍大小提取的图像块送入VGG‑19卷积神经网络，运算完成后提取Conv5‑4,Conv4‑4和Conv3‑4产生的特征图；步骤3利用三个深度特征初始化三个核相关滤波器；步骤4在下一帧图像，通过前一帧跟踪框的位置，步骤2进行特征提取，利用三个相关滤波器分别进行相关滤波，得到三个响应图，将三个响应图进行线性加权求和得到一张响应图，查找响应的最大值fmax以及最大值的坐标作为新的目标位置；然后进行目标尺度估计，获取尺度响应最大值的作为新的目标尺度；计算APCE值，当此时的fmax和APCE与历史均值的差都小于某一值时，判定跟踪成功，在新的跟踪框位置和大小按照步骤2提取特征，然后更新滤波器模型，并训练检测器；步骤5当此时的fmax和APCE与历史均值的差都大于某一值时，判定跟踪失败，不进行滤波器模型更新，用检测器重新初始化跟踪器，返回步骤4；步骤6重复步骤4、步骤5直至视频最后一帧。