[发明专利]基于时空信息融合的目标跟踪方法

说明书

本发明公开一种基于时空信息融合的目标跟踪方法，具体步骤包括：选择特征提取网络、使用目标外观特征进行跟踪的基跟踪器、使用目标运动特征进行预测的位置预测模块；获取跟踪视频，在视频的第一帧选定目标所在区域并提取该区域的深度特征；使用基跟踪器获得基于目标外观特征的跟踪结果；使用位置预测模块获得基于目标运动特征的跟踪结果；分别提取这两个跟踪结果的深度特征，度量它们和第一帧目标深度特征的相似性，取相似性最大的作为最终的跟踪结果。本发明能够根据不同的场景自动切换对目标外观特征和对目标运动特征的利用，提升了跟踪方法的鲁棒性。

技术领域

本发明属于视频目标跟踪技术领域，涉及一种基于时空信息融合的目标跟踪方法。

背景技术

视频目标跟踪是计算机视觉领域的重要分支。视频目标跟踪的工作就是在连续的视频图像帧中确定跟踪目标的位置、形状或所占区域，确定目标的运动速度、方向及轨迹等运动信息。目标跟踪具有重要的研究意义和广阔的应用前景，主要应用在视频监控、人机交互、智能交通等方面。

现有的目标跟踪方法大都使用空间维度上目标外观信息进行跟踪，并且随着深度学习的快速发展，目标跟踪方法的特征提取能力变得越来越强，这使得目标跟踪方法能够较好地应对目标外观变化的情况。但当目标和背景发生剧烈变化的情况时，空间维度上目标的外观信息变得不那么可靠，如果继续使用目标外观信息进行跟踪则容易跟丢目标，因此需要使用时间维度上的目标运动信息对当前时刻的目标位置进行预测。但是当视频中存在相机运动较为剧烈的场景时，使用时间维度上的目标运动信息进行预测会出现偏差，甚至跟丢目标。因此如何合理利用空间维度上目标外观信息和时间维度上的目标运动信息是视频目标跟踪领域中待解决的一大难题。

发明内容

本发明的目的是提供一种基于时空信息融合的目标跟踪方法，解决了现有跟踪方法仅利用空间维度上的目标外观信息而无法很好应对目标在时间维度上的特征变化问题。

本发明所采用的技术方案是：

基于时空信息融合的目标跟踪方法，具体步骤如下：

步骤1，选取经典跟踪方法MDNet作为基跟踪器，其中MDNet选用训练好的VGG-M作为特征提取网络；选取训练好LSTM网络作为目标位置预测器；

步骤2，对于待跟踪视频，将第一帧的目标状态输入到特征提取网络中得到第一帧目标的深度特征并且利用第一帧的目标状态初始化基跟踪器参数；

步骤3，进入后续帧，获取上一帧的目标位置和目标宽高(w_t-1,h_t-1)构成上一帧的目标状态并输入基跟踪器进行跟踪，得到基于目标外观特征的跟踪结果；

步骤4，采用步骤3方法获取的前L帧的目标状态集合输入目标位置预测器，得到基于目标时序信息的预测结果；

步骤5，分别将基于目标外观特征的跟踪结果和基于目标时序信息的预测结果输入到特征提取网络中，得到对应的深度特征和

步骤6，分别计算深度特征和和第一帧目标状态的深度特征的余弦相似度，并判断选取其一作为最终的跟踪结果。

本发明的特点还在于：

步骤1中VGG-M的网络包括依次连接的由3个卷积层和3个全连接层组成，其中第一个卷积层和第二个卷积层后分别连接一个池化层，其中每个卷积层后面都添加随机失活层和RELU非线性激活函数。

MDNet将目标跟踪定义为目标和背景的二分类问题，利用VGG-M图像深度特征，最终输出图像被判别为目标和背景的概率。

LSTM网络和VGG-M均采用ILSVRC2015数据集进行训练。

步骤6具体的为：

步骤6.1，分别深度特征和和第一帧目标状态的深度特征的余弦相似度，公式为：