[发明专利]一种基于互相关匹配增强孪生网络的目标跟踪方法及系统

说明书

本发明公开了一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，包括：对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。本发明对复杂场景变化跟踪的适应能力强且精度高。

技术领域

本发明涉及计算机视觉和目标跟踪技术领域，特别涉及一种基于互相关匹配增强孪生网络的目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域中一个基础而又具有挑战性的任务，是近几十年来计算机视觉领域最活跃的研究课题之一；目标跟踪的任务定义为：一个视频序列在只给定跟踪目标初始帧位置的情况下，能够在后续每一帧中保持对目标准确地跟踪。目标跟踪在自动驾驶、视频监控、海洋勘探、医学影像等领域都有着广泛的应用，因此备受学术界和工业界的关注。目前传统的基于相关滤波的目标跟踪方法其鲁棒性不高；而基于孪生网络的离线训练和在线跟踪方式使其在跟踪精度和推理速度之间取得了很好的平衡，孪生网络进行了一种相似性的学习，来估计目标在下一帧中最有可能的位置，弥补了传统方法上的不足。

作为基于孪生网络目标跟踪方法的代表，SiamFC引入了互相关结构，真正实现了速度与精度的平衡；SiamRPN在SiamFC的基础上改进了SiamFC的互相关方式并引入了区域生成网络，使得回归更加精准；但SiamRPN采用的互相关方式会产生非常大的参数量，导致网络整体上难以训练和优化；SiamRPN++将深层神经网络引入到孪生跟踪网络中，大幅度提高了跟踪性能，同时采用了深度可分离互相关的方式，减少了大量参数，稳定了整个训练过程；然而，无论哪一种现有的互相关方式，其本质依然都是两特征图之间固定大小的滑窗卷积操作，所以当物体发生较大形变或者目标区域相对较小时，互相关会引入大量的背景信息进而干扰目标物的跟踪；SiamBAN解决了SiamRPN系列网络的锚框所带来的问题，通过直接预测输出特征图上前景背景的分类得分和四个中心距离偏移量来得到最大响应位置的预测框，减少了参数调整的负担；但由于失去了一定的先验信息，跟踪器并不具有能够很好地学习和应对目标尺度变化的能力。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，解决现有技术中基于孪生网络的主流目标跟踪方法没有充分利用到先验信息以及简单的互相关匹配方式所带来的特征模糊等技术问题；本发明能够减少无关的背景信息和干扰信息，提高跟踪网络的判别能力，从而使得目标的位置更加准确。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供一种基于互相关匹配增强孪生网络的目标跟踪方法，所述方法包括：

对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；

将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，通过所述互相关匹配增强孪生网络提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；

根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。

结合第一方面，优选地，所述互相关匹配增强孪生网络的构建和训练过程包括：

获取目标视频序列帧数据集，根据图像的目标位置和尺寸，对数据集中的每一帧图像进行裁剪，获得所有帧图像的模板图像和搜索图像，将其作为训练样本集；