[发明专利]基于孪生网络的强耦合目标跟踪方法、装置、介质及设备

说明书

本发明涉及一种基于孪生网络的强耦合目标跟踪方法、装置、介质及设备，所述跟踪方法包括以下步骤：获取目标图像，并从待测视频中逐帧提取一帧待测图像；将所述目标图像和待测图像作为预训练的目标跟踪模型的输入，检测获得待测图像的预测目标位置；其中，所述目标跟踪模型基于SiamRPN构建，该目标跟踪模型训练时，采用联合优化模块对分类分支和边框回归分支进行训练，所述联合优化模块采用的损失函数包括基于联合优化的分类损失函数和基于IoU的边框损失函数。与现有技术相比，本发明具有跟踪精度高等优点。

技术领域

本发明涉及一种视频目标跟踪方法，尤其是涉及一种基于孪生网络的强耦合目标跟踪方法、装置、介质及设备。

背景技术

视频目标跟踪在军事侦察、视觉导航、自动检测、人机交互以及交通监控等军事和民用方面都有极大的应用价值。如何处理跟踪目标的快速运动、尺度变化、形变、遮挡等问题，一直是一项具有挑战的任务。跟踪目标的特征描述和跟踪目标候选区域确定是目标跟踪的主要难点。为了准确预测跟踪目标的边框信息，现有的算法采用区域回归网络(RPN)的分类分支和边框回归分支来实现。在线跟踪时，将分类分数最大值对应的边框回归值作为该帧的预测结果，虽然该类方法具有很好的跟踪能力，但其分类任务和边框回归任务没有联系，导致模型预测的最高分类分数与最佳预测边框结果不匹配，仅得到次优跟踪结果。

针对基于相关滤波跟踪算法需要在线更新这一问题，Bertinetto L使用非跟踪数据ImageNet样本离线训练网络，在进行跟踪时，无需在线更新网络参数。他们使用孪生网络作为算法框架，Alex作为特征提取基网络，将候选图像和目标图像同时输入到孪生网络中，并对孪生网络输出的卷积特征进行相关操作，得到目标位置相应图，算法框架图如图1所示。孪生网络的候选图像大小为255×255，目标图像大小为127×127，相关操作后输出17×17的置信相应图，通过二次差值法进行上采样，提升置信响应图的分辨率，响应图上的值越高，则目标在该处的可能性越大。但是该算法需要将多尺度候选图像作为输入，来拟合目标的尺度变化，无法准确估计目标长宽比率的变化。

Li B等通过研究SiamFC算法的不同尺度输入图像的预测结果，发现目标的尺度变化是缓慢的，前后帧之间的差别很小。同时，SSD(Single Shot multibox Detector)算法中RPN可以直接回归出目标的尺度信息，当目标的尺度变化较小时，RPN可以准确地预测目标的边框信息。因此，他们在SiamFC算法的基础上，使用SSD中的RPN替代SiamFC的相关操作，根据得到的孪生网络特征，不需要进行尺度估计，直接预测目标中心位置及尺度，其网络结构图如图2所示，其中分类分支和边框回归的损失是分开训练的，导致这两个分支间关联性较差，在预测阶段存在分类分数与边框精度不匹配问题，使得算法仅能得到次优的跟踪结果。

基于卷积神经网络的目标跟踪尽管取得了一些成果，但是应用仍然较少。由于区域推荐网络中最大分类分数和最佳边框不匹配，导致得到的跟踪结果不是最优的，当目标出现长时间遮挡等情况时，也难以准确跟踪，可能存在跟踪失误的情况。总体而言，基于卷积神经网络的目标跟踪在网络结构、跟踪漂移、环境适应性等诸多方面仍有很大的探索空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种跟踪精度高的基于孪生网络的强耦合目标跟踪方法、装置、介质及设备。

本发明的目的可以通过以下技术方案来实现：

第一方面，本发明提供一种基于孪生网络的强耦合目标跟踪方法，包括以下步骤：

获取目标图像，并从待测视频中逐帧提取一帧待测图像；

将所述目标图像和待测图像作为预训练的目标跟踪模型的输入，检测获得待测图像的预测目标位置；

其中，所述目标跟踪模型基于SiamRPN构建，该目标跟踪模型训练时，采用联合优化模块对分类分支和边框回归分支进行训练，所述联合优化模块采用的损失函数包括基于联合优化的分类损失函数和基于IoU的边框损失函数。