[发明专利]基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法

说明书

本发明公开一种基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，包括：步骤1，预训练全卷积特征提取网络；步骤2，选训练轨迹预测器；步骤3，获取视频序列，采用全卷积特征提取网络提取视频序列的深度特征并通过细粒度匹配方式分解成一组细粒度的卷积核，对卷积核组做划窗操作得到相匹配的响应图，从而得到目标跟踪结果；步骤4，将当前帧以前8帧的跟踪结果作为当前帧的历史轨迹信息输轨迹预测器中以预测出目标在当前帧跟踪结果；步骤5，将步骤3得到的目标跟踪结果和步骤4的跟踪结果进行加权融合得到最终的跟踪结果。本发明解决了现有孪生网络目标跟踪方法容易受到严重遮挡,相似目标干扰以及较大形变等原因导致跟踪失败的问题。

技术领域

本发明属于目标跟踪技术领域，涉及一种基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法。

背景技术

单目标跟踪技术一直是当前计算机视觉领域中最为基础且重要的一项课题和研究方向。单目标跟踪技术就是指该技术能够在连续的视频图像序列中推算出所跟踪目标的位置以及宽高信息。当前，单目标跟踪技术在自动驾驶，视频监控，人机交互等方面得到了广泛应用，因此具有十分重要的研究价值和应用前景。

当前，基于孪生架构的单目标跟踪方法成为了单目标跟踪算法中的主流。相较于传统的相关滤波类算法，基于孪生网络的算法可以在达到很高的准确率的同时，也具有很好的实时性。孪生网络的主要思想是通过一种能够将所输入的图片映射到高维特征空间的函数，使得在此高维空间中的简单距离能够近似代替在低维空间中的“语义”信息。其次，孪生网络通过寻找出一种合适的匹配函数来度量高维空间中的两种模式之间的匹配程度，使得属于同一类的响应值很高，而属于不同类的响应值很低。过去，孪生网络主要用于度量学习，例如度量签字笔迹的相似性或者语音信息的相似性等。在单目标跟踪技术中，孪生网络首先从第一帧中切取出一片含有所跟踪目标的目标区域作为模板，并让其经过一个全卷积网络以生成模板特征。当后续帧进来以后，将后续帧的搜索区域经过同样的全卷积网络生成搜索区域特征，并将其与模板特征做相似性度量以获得当前帧中目标的位置和大小。现有的基于孪生网络的目标跟踪算法大都通过当前帧中目标的外观特征信息来进行相似性度量，完全没有考虑到目标的历史轨迹信息。因此，当目标发生较大形变，遇到严重遮挡或者周围出现相似干扰等情况时，容易导致跟踪器无法很好地应对这种情况从而跟踪失败。其次，直接用模板特征来和搜索区域进行相似性度量，有时候可能会引入模板当中的背景信息，从而导致最终跟踪位置的不准确。

发明内容

本发明的目的是提供一种基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，解决了现有孪生网络目标跟踪方法容易受到严重遮挡,相似目标干扰以及较大形变等原因导致跟踪失败的问题。

本发明所采用的技术方案是：

基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，包括以下步骤：

步骤1，选择预训练好的AlexNet网络作为孪生网络的全卷积特征提取网络；

步骤2，选择预训练好的LSTM网络作为轨迹预测器；

步骤3，获取视频序列，采用全卷积特征提取网络提取视频序列的深度特征并通过细粒度匹配方式分解成一组细粒度的卷积核，对卷积核组做划窗操作得到相匹配的响应图，从而得到目标跟踪结果；

步骤4，将当前帧以前8帧的跟踪结果作为当前帧的历史轨迹信息输轨迹预测器L(·)中以预测出目标在当前帧跟踪结果；

步骤5，将步骤3得到的目标跟踪结果和LSTM预测出的跟踪结果进行加权融合得到最终的跟踪结果。

本发明的特点还在于：

步骤3具体的为：

步骤3.1，获取跟踪视频，在视频的第一帧上手动选择目标所在区域，将第一帧的目标区域作为模板输入到特征提取网络中，得到模板的深度特征再将模板特征按空间维度分解成一组细粒度的卷积核