[发明专利]基于上下文自注意力学习深度网络的目标跟踪方法与系统

说明书

本发明提出一种基于上下文自注意力学习深度网络的目标跟踪方法与系统，所述方法包括：基于卷积神经网络模型与上下文自注意力学习模块，构建得到特征提取网络模型；利用区域建议网络分别对提取后的目标模板图像特征和搜索区域图像特征在分类分支和回归分支上分别进行特征融合深度卷积计算，得到对应的相似度得分图，最后将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。在本发明中，通过重构所得到的特征提取网络，可增强模板分支与搜索分支的全局信息表示能力和自注意力学习能力，有利于区域建议网络的分类回归分支的相似度计算，最终实现更加精确的跟踪。

技术领域

本发明涉及计算机视觉与图像处理技术领域，特别涉及一种基于上下文自注意力学习深度网络的目标跟踪方法与系统。

背景技术

在计算机视觉领域中，目标跟踪通过在连续的视频图像序列中对目标的表观和运动信息进行建模以定位跟踪目标的位置。目前，目标跟踪在智能视频监控、无人驾驶、医疗诊断以及虚拟现实等视觉领域中有着广泛应用。

在实际跟踪过程中，跟踪算法面临着尺度变化、运动模糊、目标旋转、外部环境的光照变化以及相似背景干扰等因素的影响。随着目标跟踪技术的发展，基于深度学习的跟踪算法提高了跟踪性能，但是计算代价高。近年来，基于孪生神经网络的目标跟踪表现出良好的跟踪性能，尤其是在平衡跟踪速度和精确度方面，受到了国内外研究人员的广泛关注。

基于孪生网络的目标跟踪算法，虽然双分支孪生网络在目标跟踪方向得到了很好的应用，但是部分的视觉跟踪算法模型的鲁棒性与精确度均不是很理想。基于此，有必要提出一种基于上下文自注意力学习深度网络的目标跟踪方法与系统，以解决上述技术问题。

发明内容

鉴于上述状况，本发明的主要目的是为了解决现有技术中，部分的视觉跟踪算法模型的鲁棒性与精确度均不是很理想的问题。

本发明实施例提出一种基于上下文自注意力学习深度网络的目标跟踪方法，其中，所述方法包括如下步骤：

步骤一、在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成，并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征；

步骤二、通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息，通过所述上下文自注意力学习模块，结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息，将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息，所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中，利用输入键之间的上下文信息来指导动态注意力矩阵的学习，以增强目标特征表示能力；

步骤三：利用大规模数据集，对所述特征提取网络模型进行预训练，并结合区域建议网络对所述特征提取网络模型的参数进行调整；

步骤四：利用预训练后的所述特征提取网络模型，在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征，并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中；

步骤五：利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算，以得到对应的相似度得分图；

步骤六：根据所述相似度得分图，将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。