[发明专利]基于多注意力任务融合与边界框编码的孪生目标跟踪方法

说明书

本发明公开了一种基于多注意力任务融合与边界框编码的孪生目标跟踪方法，首先构建孪生目标跟踪网络，第一多注意力融合模块对模板特征提取分支进行通道注意力和空间注意力增强操作，第二多注意力融合模块对搜索特征提取分支进行通道注意力和空间注意力的增强操作，输出特征共同进入互相关匹配网络与边界框编码特征进行融合，将融合得特征输入分类回归网络得到分类得分图和回归预测图。本发明通过将特征提取网络分为模板特征提取分支和搜索特征提取分支，再利用特征提取网络中加入得多注意力融合模块进行通道注意力和空间注意力的预处理，能够很好地应对遮挡、视野消失、运动模糊、背景杂乱、尺度变化等问题，具备良好跟踪性能。

技术领域

本发明涉及目标跟踪领域，尤其涉及一种基于多注意力任务融合与边界框编码的孪生目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中一个基础而又具有挑战性的任务，是近几十年来计算机视觉领域最活跃的研究课题之一。目标跟踪的任务定义为：一个视频序列在只给定跟踪目标初始帧位置的情况下，能够在后续每一帧中保持对目标准确地跟踪。目标跟踪在自动驾驶、视频监控、海洋勘探、医学影像等领域都有着广泛的应用，因此备受学术界和工业界的关注。目标跟踪可以分为两个主流的分支，一个是基于相关滤波的目标跟踪，另一个则是基于深度学习的目标跟踪。

随着深度学习的快速发展，基于深度学习的目标跟踪模型已经成为了进一步提高目标跟踪精度的重要法宝。目前的研究表明，在基于深度学习的目标跟踪模型中，基于孪生网络的目标跟踪模型在跟踪精度和推理速度之间取得了很好的平衡。

作为孪生目标跟踪算法的代表，SiamFC(Bertinetto L,Valmadre J,Henriques JF,et al.Fully-convolutional siamese networks for object tracking[C]//Europeancon ference on computer vision.Springer,Cham,2016:850-865.)通过设计简洁合理的跟踪网络结构，将目标跟踪的速度和精度实现了很好的平衡。SiamRPN++(Li B,Wu W,WangQ,et al.Siamrpn++:Evolution of siamese visual tracking with very deep networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternReco gnition.2019:4282-4291.)将深层神经网络ResNet50引入到孪生跟踪网络中，大幅度提高了跟踪性能。然而，包括上述这些算法在内的绝大多数目标跟踪模型在训练时，通常在特征提取网络部分都采用预训练的权重参数，但预训练的深层神经网络其实并不契合目标跟踪的任务定义。目标跟踪与图像分类、目标检测、实例分割等其他视觉任务不同，分类、检测等视觉任务的训练和测试的目标类别是预先定义好的，其更加注重于类别预测，而目标跟踪任务在跟踪过程中需要面对任意类别的目标，其更加注重于前景目标的位置预测。此外，预训练的深层神经网络更加偏向于类外的差异，其提取的特征可能对目标类内的变化并不敏感，因此采用预训练的特征提取网络模型实际在一定程度上限制了跟踪模型的判别能力。

主流的孪生跟踪算法对于模板帧已给定的边界框信息通常会有两种利用方式，一种是对输入图像进行常规的中心裁剪，另一种是利用边界框的坐标做相关的ROI(RegionOf Interest)映射或者提取图像像素掩膜。这两种方式通过利用已有的边界框坐标信息将图像层面的信息进行提取和操作，但是往往忽略了边界框坐标本身这种非结构化数据信息的价值。

申请号为“2022113443642”的专利中公开了一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，然而该发明也无法解决跟踪模型的判别能力受到限制的技术问题。

发明内容