[发明专利]一种基于多图注意力机制的目标跟踪算法

说明书

本发明公开一种基于多图注意力机制的目标跟踪算法，属于一般的图像数据处理或产生技术领域，用于对视频中的目标进行跟踪，包括将视频中的第一帧图片和后续帧分别作为模板分支和搜索分支的输入，通过孪生网络对其进行特征提取；将上一步得到的输出特征输入到图注意力模块进行互相关操作；将上一步得到的输出输入到无锚的跟踪头网络中，通过分类分支得到特征图中每个像素点的分类分数，通过中心度分支得到各像素点距离目标中心的远近关系，通过回归分支得到每个像素点对应的目标框信息；将分类分数与中心度分支相乘，得到精确分类分数，找到分数最高的像素点及其对应的目标框信息，得到当前帧目标的所在位置，重复以上步骤。

技术领域

本发明公开一种基于多图注意力机制的目标跟踪算法，属于一般的图像数据处理或产生技术领域。

背景技术

目标跟踪作为计算机视觉三大主流方向之一，一直备受人们关注，随着对其研究的不断深入，其应用领域也随之变得更广泛，现已被应用于智能监控、车辆跟踪、人机交互等领域。由于现实应用中往往会面临各种复杂多变的场景，如目标被遮挡、背景复杂多变、目标外观变化、运动模糊等，而现有跟踪器在面对这些问题时并不能很好地处理，因此运动目标跟踪仍面临着巨大的挑战，人们需要继续对目标跟踪算法进行探索和改进。

单目标跟踪是指在视频的第一帧中给定要跟踪的目标，然后在后续帧中对目标进行跟踪。之前这方面的研究以基于相关滤波的算法为主，随着深度学习的发展，卷积神经网络强大的特征提取能力也受到了人们的广泛关注，目标跟踪的研究方向也逐渐向深度学习方向转变。

在基于深度学习的目标跟踪算法的研究过程中也逐渐出现了一些分支，其中基于孪生网络的目标跟踪算法凭借其独特的优势让跟踪器合理地平衡了跟踪速度和跟踪精度。但现有跟踪器在面对目标模糊、背景杂乱等情况时很难准确的提取到目标的特征，不能精确的检测到目标所在的位置。另一方面，大部分孪生网络跟踪器都是以整个模板图片的特征为核与搜索区域进行相似度匹配，跟踪过程目标的状态并不是固定的，当目标发生形变或被遮挡时，目标的全局特征会发生变化，这时进行全局的相似度匹配会影响到最终结果的准确性。

发明内容

本发明的目的在于提供基于一种基于多图注意力机制的目标跟踪算法，以解决现有技术中，目标全局特征发生变化导致目标跟踪算法不能精确的定位到目标所在的位置以及现有网络特征提取能力无法应对目标背景的复杂多变等问题。

一种基于多图注意力机制的目标跟踪算法，包括：

S1.将视频中的第一帧图片和后续帧分别作为模板分支和搜索分支的输入，通过孪生网络对其进行特征提取；

S2.将S1得到的输出特征输入到图注意力模块进行互相关操作；

S3.将S2得到的输出输入到无锚的跟踪头网络中，通过分类分支得到特征图中每个像素点的分类分数，通过中心度分支得到各像素点距离目标中心的远近关系，通过回归分支得到每个像素点对应的目标框信息；

S4.将S3得到的分类分数与中心度分支相乘，得到精确分类分数，找到分数最高的像素点及其对应的目标框信息，得到当前帧目标的所在位置；

S5.重复S1至S4，直到得到视频所有后续帧中目标的位置为止。

S1中的孪生网络为共享权重的GoogleNet，使用InceptionV3结构，所述孪生网络与SimAM注意力机制进行了结合，具体操作为：

对GoogleNet的InceptionV3结构进行调整，仅用InceptionV3前面的卷积和池化层以及InceptionA、InceptionB、InceptionC三个模块，后面的Inception模块和其他网络层都不使用；

添加注意力模块，在三个InceptionA模块后面都添加一个SimAM注意力模块，在第一个InceptionC模块和第三个InceptionC模块后面添加一个SimAM注意力模块。