[发明专利]基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统

说明书

本发明公开了基于多层特征融合的卷积孪生网络的目标跟踪方法及系统，该方法包括：根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；构建基于多层特征融合的卷积孪生网络；基于训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；使用训练好的基于多层特征融合的卷积孪生网络进行目标跟踪。本发明在跟踪目标的过程中，融合不同层的得分图，结合高层语义特征与底层细节特征，更好地区分相似或同类目标的干扰，防止跟踪过程中的目标漂移和目标丢失问题。

技术领域

本发明属于数字图像处理、深度学习以及模式识别的交叉领域，更具体地，涉及基于多层特征融合的卷积孪生网络的目标跟踪方法及系统。

背景技术

目标跟踪在计算机视觉中具有非常重要的地位，然而由于自然场景的复杂性，目标对光照变化的敏感性，跟踪对实时性和鲁棒性的要求，以及遮挡、姿态和尺度变化等因素的存在，使得跟踪问题仍然很困难。传统的目标跟踪方法，无法对目标提取丰富的特征使得严格区别目标与背景，容易出现跟踪漂移现象，因此无法长时间跟踪目标。随着深度学习的兴起，一般的卷积神经网络可以有效提取目标丰富的特征，但是网络参数过多，如果要在线跟踪，无法满足实时性能的要求，实际工程利用价值有限。

由于硬件性能的提高以及GPU等高性能计算器件的普及，跟踪的实时性不再是难以克服的问题，有效的目标外观模型在跟踪过程中才是至关重要的。目标跟踪的本质是一个相似性度量的过程，由于孪生卷积网络的特殊结构，其在相似性度量方面具有天然的优势，而且具有卷积结构，可以提取丰富的特征用于目标跟踪。纯粹的基于孪生卷积网络采用离线训练，在线跟踪，虽然可以在高性能运算设备上实时性满足要求，但是全卷积孪生网络在跟踪过程中只利用了卷积网络高层提取的语义信息，在复杂场景中并不能很好区分与目标相似的背景，导致跟踪漂移和目标丢失问题。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术相似背景干扰导致的跟踪漂移和目标丢失的技术问题。

为实现上述目的，第一方面，本发明实施例提供了基于多层特征融合的卷积孪生网络的目标跟踪方法，该方法包括以下步骤：

(1)根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；

(2)构建基于多层特征融合的卷积孪生网络，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；

(3)基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；

(4)使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪。

具体地，步骤(1)包括：目标模板图像的裁剪方法为：以目标区域为中心的目标矩形框，以目标区域中心位置代表目标位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的目标图像块尺寸缩放至127×127大小；搜索区域图像的裁剪方法为：以目标区域为中心，在目标矩形框四边分别扩充2p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的搜索区域图像块尺寸缩放至255×255大小；其中，p＝(w+h)/4，w为目标矩形框宽像素，h为目标矩形框长像素。