[发明专利]一种基于双分支孪生网络结构的视觉目标跟踪方法

说明书

本发明涉及一种基于双分支孪生网络结构的视觉目标跟踪方法，属于图形图像处理领域；它解决了目前目标跟踪方法中遮挡、形变、模糊运动以及相似物干扰等常见的问题；其技术方案是：向双分支孪生网络结构同时输入模板帧和搜索帧图像，然后将经过双分支孪生网络结构的模板帧和搜索帧图像进行互相关操作，得到一张响应图，取出响应图中值最大的点即为待跟踪目标的中心位置；本发明具有以下有益效果：通过双分支网络结构中的浅层分支能精确捕捉目标位置信息；深层分支通过提取目标抽象的语义信息，能很好的应对跟踪过程中目标出现的遮挡、尺度变化等问题；将经过两个分支的结果进行自适应融合，能够达到很好的综合效果。

技术领域

本发明涉及一种基于双分支孪生网络结构的视觉目标跟踪方法，属于图形图像处理领域。

背景技术

视觉目标跟踪一直是人工智能和计算机视觉领域一项基本而富有挑战性的任务，在视频监控、智能交通、无人驾驶等方面具有广泛的应用。然而，由于各种挑战，例如目标被遮挡、尺度变化及背景杂乱等，目标跟踪算法在实时性和准确性方面难以做到较好的平衡，因此如何实现实时、准确的目标跟踪算法具有很大的研究价值。目前的目标跟踪方法主要分为：基于相关滤波类的方法，如KCF、DSST；基于孪生网络类的方法，如SiamFC、SiamRPN、SiamDW；而随着计算机计算能力的大幅提升，基于深度学习的孪生网络类算法逐渐成为主流。

基于相关滤波类的目标跟踪算法通过提取目标特征训练滤波器，并对下一帧图像作滤波运算，以结果响应峰值所在位置作为目标位置。在特征构建方面，早期的相关滤波方法主要使用手工特征构建目标模型，而手工特征的构建方法相对简单，仅由统计计算完成，虽然使用此类特征的跟踪器的跟踪速度较快，但对目标特征的建模能力较弱，从而使得跟踪器鲁棒性不强，难以应对复杂场景下的跟踪任务。基于深度学习的孪生网络类目标跟踪算法，以SiamFC为代表，其在初始离线阶段训练一个全卷积网络以解决更一般的相似性学习问题，然后在推理期间对学习到的匹配函数进行简单的在线评估，该方法在具有极强的实时性的同时达到了极具竞争力的性能。但是该算法使用较浅的特征提取网络AlexNet，提取到的仅仅是目标的浅层特征，在应对遮挡、尺度变化等复杂场景时精度不高。而近两年来基于孪生网络类的跟踪算法如SiamDW探索出如何将深层网络作为骨干网络应用于目标跟踪任务中；但深层网络随着层数的加深会抑制浅层特征的利用，而浅层特征对于跟踪过程中目标位置的定位能力较强，因此浅层特征的利用也十分重要。

总体而言，目前基于孪生网络类的目标跟踪算法大致只利用目标的浅层特征或只利用目标深层的语义特征进行跟踪，亦或者在骨干网络后面嵌入一系列模块，虽然性能有所提升，但实时性却大幅下降。

发明内容

本发明目的是：为了解决现如今孪生网络类目标跟踪算法在精度与实时性之间难以平衡的问题，同时使得整个算法的结构简单明了，实现在满足实时性的前提下获得较好的跟踪准确率和精度。

为实现上述目的，本发明设计出一种基于双分支孪生网络结构的视觉目标跟踪方法。该方法包括以下步骤：

S100、训练阶段，获取原始模板图像z和原始搜索图像x；对所述原始模板图像和原始搜索图像进行预处理，得到模板图像z_sz和搜索图像x_sz，并将所述模板图像z_sz和搜索图像x_sz作为训练数据并构建训练数据集；训练时，所有图像的Bounding Box均已知；

S101、所述对原始模板图像进行预处理，包括以下步骤：以目标为中心，构建出对应的模板区域，如果超出范围则使用RGB均值进行填充；构建方式如下：

；

；

其中A=127×127，和代表Bounding Box的长宽，Z_sz为模板图像边长，；