[发明专利]一种基于平行特征金字塔神经网络的目标跟踪方法

说明书

本发明提出了一种基于平行特征金字塔神经网络的目标跟踪方法，该方法没有使用传统的VGG神经网络做特征提取，而是改用平行特征金字塔卷积神经网络来提取特征。平行特征金字塔卷积神经网络很好的融合了浅层神经网络的细节特征，高层网络所具有的高级语义特征以及上下文信息特征，使得提取用于跟踪的特征更加鲁棒，从而提高了目标跟踪的精度。该方法是一种实时鲁棒性的跟踪算法，在不同的跟踪场景中取得了不错的效果。

技术领域

本发明属于计算机视觉技术领域，具体为一种基于平行特征金字塔神经网络(PFPnet，parallel Feature Pyramid Network)的目标跟踪方法。

背景技术

运动目标跟踪技术一直是计算机视觉领域的研究重点，其主要内容为在指定的视频序列中估计出运动目标在每帧中的位置。随着硬件性能的不断提升，这项技术在无人控制、智能安防、交通监管等领域中有着越来越多的应用。目标跟踪的核心技术在于紧跟随时间不断产生位置以及形态变化的目标。近几年来，基于机器学习的目标跟踪技术飞速的发展，已经能够实现简单场景下的目标实时跟踪，但目标外观随时间的变化，背景的复杂多变，多目标咬合等因素依旧会对跟踪效果有所影响。

目标跟踪技术的主体思路目前可被分为判别式和产生式两种。判别式目标跟踪算法将对目标的跟踪问题转换成对于跟踪目标和背景的分类问题，即通过一个二值分类器将被跟踪的目标和背景进行区分。判别式的目标跟踪结合了背景信息和被跟踪的目标信息，具有较强的鲁棒性高效性和精确性，但在判断前需要对大量的样本进行特征提取，所以很难满足实时性的要求。产生式的目标跟踪算法通过目标的表观特征来生成模型，随后再通过搜索候选目标来最小化重构误差，产生式的目标跟踪算法将跟踪重点放在了对目标本身的刻画上而忽略了背景信息，所以产生式的目标跟踪算法在目标为非刚性物体时，目标与场景中出现遮挡的情况下会出现漂移，从而影响跟踪的效果。在过去几年，以稀疏编码为代表的生成式的目标跟踪算法占据主要地位，但近年来，随着深度学习技术的兴起，以相关滤波和深度学习为代表的判别式目标跟踪算法正逐步成为主流。

相关滤波原本用于信号处理领域，其主要思想为根据找寻的滤波模板对下一帧的图像作卷积操作，通过判断得到的响应图的响应值来判断目标在下一帧的位置以及区域。根据这一思想，近几年来，有了很多的基于相关滤波的目标跟踪成果。最初的MOSSE算法首次将相关滤波引入目标跟踪，但由随机采样带来的正负样本数目不足使得检测效果不好。之后提出的CSK算法通过循环位移结构增大了正负样本数目，解决了样本不足的难题，提高了跟踪的效率，但CSK算法采用的是原始图像的灰度特征，容易受到复杂图像背景、目标背景颜色相似的影响。KCF算法采用了HOG特征，体现了图像的边缘梯度信息，得到了比较好的效果。同时期还提出了增加颜色属性的CN相关滤波跟踪算法，CN算法采用自适应降维，将11维的颜色特征降低到2维，保证高效跟踪的同时提升了跟踪算法的性能。但CN算法和KCF算法为固定大小的卷积模板，从而使得算法缺乏尺度自适应功能。随后，基于多特征融合的SAMF算法被提出，SAMF算法将上述所涉及到的灰度特征、颜色属性、HOG特征等进行了融合，得到了鲁棒性更高的结果，但SAMF算法由边界效应所带来的错误的超出图像边界的正负样本影响了分类性能。DS-KCF将图像深度信息特征与颜色特征融合，提出了基于深度尺度核相关滤波的实时目标跟踪算法。

深度卷积神经网络具有强大的特征提取功能，所以一经提出，就迅速在目标跟踪领域获得运用。DeepSRDCF将VGG卷积神经网络所代表的卷积特征引入目标跟踪算法，提高了精度，随后又提出了C-COT算法，在DeepSRDCF的单层神经网络的基础上实现了多层的神经网络的结合，更加充分的运用了深度特征，获得了优于DeepSRDCF的效果。