[发明专利]一种基于倒残差的孪生网络目标跟踪方法

说明书

本发明公开了一种基于倒残差的孪生网络目标跟踪方法，包括如下步骤：建立一个倒残差结构的目标跟踪算法模型；基于大规模图像数据集，剪裁制作成训练数据集，采用SGD算法对整个网络进行端对端的训练；跟踪过程中，将跟踪目标框内图像送入主干网络中并通过横向连接网络提取特征形成目标模板；后续帧中，将第一帧模板特征与后续帧搜索区域特征图分别送入三个区域推荐网络中做相关操作，在分类分支得到每个锚框的前景和背景的分类得分图，在回归分支中对每个锚框做精细化回归；对三个区域推荐网络的输出结果做平均化融合，给出最终目标预测框，在新一帧中重复上述操作直至视频结束。本发明能够对目标进行持续跟踪，复杂场景中仍能对目标持续鲁棒跟踪。

技术领域

本发明涉及深度学习目标跟踪技术领域，尤其是一种基于倒残差的孪生网络目标跟踪方法。

背景技术

随着图像处理技术的不断发展，视频目标跟踪已经成为计算机视觉领域的一个前沿研究热点。其主要任务就是获取视频图像序列中感兴趣的目标的位置，为进一步的语义层分析提供基础。视频目标跟踪研究在智能视频监控、人机交互、医学诊断等领域有广泛应用，具有很强的实用价值，在日常生活中起着重要的作用。

目前视频目标跟踪主要分为两大类：相关滤波器方法和深度学习方法。基于相关滤波的方法把目标跟踪的过程近似地看成对搜索区域图像进行相关滤波的过程。首个相关滤波算法是方法平方误差最小滤波器(Minimum Output Sum of Squared Error，MOSSE)，2010年基于循环稠密采样的算法CSK(Circulant Structure with Kernels)解决了MOSSE中的样本不足问题。2014年KCF(Kernelized Correlation Filter)引入了核函数。此后还利用颜色特征、HOG特征等多特征融合，并加上自适应尺度变化的DSST(DiscriminativeScale Space Tracker)，还有有效解决了相关滤波循环采样过程中边界效应问题的STRCF(Spatial-Temporal Regularized Correlation Filters)。基于深度学习类的算法又可以分为基于预训练网络加相关滤波的方法，比较有代表性的有，基于多层卷积特征的视觉跟踪算法HCFT(Hierarchical Convolutional Features for visual Tracking)，通过学习一组滤波器产生目标的连续域置信图的C-COT(Continuous Convolution Operators forVisual Tracking)，以及针对C-COT实时性改进的ECO(Efficient ConvolutionOperators)。基于孪生网络的方法的开创方法SiamFC(Fully Convolutional SiameseNetworks)，主要思想是利用第一帧的目标学习，训练一个相似度匹配函数，后续帧通过模型与第一帧计算相似度来寻找目标的最大响应位置。优点是不需在线更新，运行速度很快。在此基础上有引入了区域推荐网络RPN(Region Proposal Network)的SiamRPN(SiameseRegion Proposal Network)有了更高的精度更好的尺度适应性。还有利用更深层的深度网络框架，提高孪生网络模型的鲁棒性和泛化能力的SiamDW(Deeper and Wider SiameseNetworks)。

基于相关滤波的算法具有速度快模型简单的优点，在引入了深度特征的C-COT、ECO后有很高的精度，但是在速度方面有很大的牺牲，也无法很好地利用大数据离线训练的优势，而基于深度网络的方法在一些如非刚性物体变形的复杂的情况下，效果往往不会太好。

发明内容

本发明所要解决的技术问题在于，提供一种基于倒残差的孪生网络目标跟踪方法，能够对目标进行持续跟踪，还能够处理在视频中出现的光线变化、相似目标、遮挡等情况，在比较复杂的场景中仍能对目标持续鲁棒跟踪。

为解决上述技术问题，本发明提供一种基于倒残差的孪生网络目标跟踪方法，包括如下步骤：

(1)建立一个倒残差结构的孪生倒残差主干网络、横向连接网络和区域推荐网络的目标跟踪算法模型；