[发明专利]一种基于相关滤波与孪生卷积网络融合的目标跟踪方法

说明书

本发明公开了一种基于相关滤波与孪生卷积网络融合的目标跟踪方法，包括：利用第一卷积网络提取已知目标位置的第(t‑1)帧图像的目标特征图，利用第二卷积网络提取第t帧图像的搜索特征图；对第(t‑1)帧图像的目标特征图进行快速傅里叶变换得到第(t‑1)帧图像的目标区域，对第t帧图像的搜索特征图进行相关滤波得到第t帧图像的搜索区域，计算第t帧图像的搜索区域和第(t‑1)帧图像的目标区域之间的互相关性，得到第t帧图像的目标得分图，根据第t帧图像的目标得分图得到第t帧图像的目标位置；进而得到视频序列中每一帧图像的目标位置，实现对视频序列的目标跟踪。本发明可以克服光照，遮挡，姿态和尺度的影响进行实时目标跟踪。

技术领域

本发明属于计算机视觉、深度卷积网络以及模式识别的交叉领域，更具体地，涉及一种基于相关滤波与孪生卷积网络融合的目标跟踪方法。

背景技术

目标跟踪在计算机视觉中具有非常重要的地位，然而由于自然场景的复杂性，目标对光照变化的敏感性，跟踪对实时性和鲁棒性的要求，以及遮挡、姿态和尺度变化等因素的存在，使得跟踪问题仍然很困难。传统的目标跟踪方法，无法对目标提取丰富的特征使得目标严格区别与背景，容易出现跟踪漂移现象，因此无法长时间跟踪目标；随着深度学习的兴起，现有的一般的卷积神经网络可以有效提取目标丰富的特征，但是网络参数过多，如果要在线跟踪，几乎无法满足实时性能的要求，实际工程利用价值有限。

由于硬件性能的提高以及GPU等高性能计算器件的普及，跟踪的实时性不再是难以克服的问题，有效的目标外观模型在跟踪过程中才是至关重要的。目标跟踪的本质是一个相似性度量的过程，由于孪生卷积网络的特殊结构，其在相似性度量方面具有天然的优势，而且具有卷积结构，可以提取丰富的特征用于目标跟踪。纯粹的基于孪生卷积网络采用离线训练，在线跟踪，虽然可以在高性能运算设备上实时性满足要求，但是没有在线目标模板的动态更新，以及难以克服光照，遮挡，姿态和尺度等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于相关滤波与孪生卷积网络融合的目标跟踪方法，由此解决现有技术没有在线目标模板的动态更新，以及难以克服光照，遮挡，姿态和尺度的技术问题。

为实现上述目的，本发明提供了一种基于相关滤波与孪生卷积网络融合的目标跟踪方法，所述孪生卷积网络为2个完全相同的第一卷积网络和第二卷积网络，所述目标跟踪方法包括：

(1)利用第一卷积网络提取已知目标位置的第(t-1)帧图像的目标特征图，利用第二卷积网络提取第t帧图像的搜索特征图；

(2)对第(t-1)帧图像的目标特征图进行快速傅里叶变换得到第(t-1)帧图像的目标区域，对第t帧图像的搜索特征图进行相关滤波得到第t帧图像的搜索区域，计算第t帧图像的搜索区域和第(t-1)帧图像的目标区域之间的互相关性，得到第t帧图像的目标得分图，根据第t帧图像的目标得分图得到第t帧图像的目标位置；

其中，t≥2，当t为2时，对视频序列中的第1帧图像进行标定，执行步骤(1)-(2)得到第2帧图像的目标位置，当t为3时，执行步骤(1)-(2)得到第3帧图像的目标位置，以此类推，得到视频序列中每一帧图像的目标位置，实现对视频序列的目标跟踪。

进一步地，步骤(2)中的相关滤波包括：

采用余弦窗口函数或者正弦窗口函数对第t帧图像的搜索特征图进行平滑滤波，然后采用快速傅里叶变换将平滑滤波后的第t帧图像的搜索特征图从空域变换到频域，得到第t帧图像的搜索区域。

进一步地，第一卷积网络和第二卷积网络均包括五个卷积层，所述五个卷积层的前两层卷积之后分别有一个下采样池化层。

进一步地，孪生卷积网络为训练好的卷积网络，所述孪生卷积网络的训练方法为：