[发明专利]一种基于注意力机制与全局推理的目标跟踪方法及系统

说明书

本发明公开了一种基于注意力机制与全局推理的目标跟踪方法及系统，属于计算机视觉技术领域，包括：利用基于孪生网络的目标跟踪模型进行目标跟踪，目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；将第一得分图和第二得分图进行加权求和，得到回归图；根据回归图，确定目标所在位置。本发明相较于现有的跟踪算法，具有更好的跟踪效果。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于注意力机制与全局推理的目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域的难题之一，它是更高级的视觉理解和场景分析的基础。目标跟踪技术广泛用于视频监视，人机交互，机器人技术，视频编辑和无人驾驶。视觉对象跟踪任务就是根据初始帧目标位置和大小信息，在后续帧中实现对移动目标的连续和稳定跟踪。由于受到目标的尺度变化，旋转，变形，快速运动以及背景照明的变化等类似的物体干扰，实现长期稳定的目标跟踪仍然是一项艰巨的任务。

近年来，对视觉跟踪任务的研究集中在两个方面，一方面是提高算法的速度，另一方面是提高跟踪的准确性。在速度方面，相关过滤算法是最成功的跟踪框架之一，主要使用了快速傅里叶傅里叶变换和更简单的手动功能，运行速度接近每秒700帧。但是这种方法在复杂的情况下通常很难处理，并且性能将大大降低。在准确性方面，基于深度学习的目标跟踪方法显示出非常强大的效果。与相关过滤算法相比，基于深度学习的目标跟踪方法的目标跟踪性能具有很大的提高，可以更好地处理最困难的场景，但其速度较慢。

为解决上述基于深度学习的目标跟踪算法跟踪速度慢的问题，提出了基于孪生网络的目标跟踪算法。相关研究人员首次提出孪生网络的目标跟踪，即将目标跟踪问题转化为一个patch块匹配问题，并用神经网络来实现；也有研究者提出了一个端到端的孪生网络跟踪算法SiamFC，其速度很快，所以接下来的几年中出现了许多基于孪生网络的目标跟踪。

基于孪生网络的目标跟踪方法具有很高的速度和准确率优势，因而受到了很强的关注度，但已有的一些孪生网络跟踪算法仍存在一些不足。下面针对典型的孪生网络SiamFC和SiamRPN，指出其存在的两方面不足，其一，它们使用的网络结构较浅，提取的特征不充分，没有很好的关注跟踪目标本身，所以在面对一些跟踪挑战时会出现跟踪失败的情况。其二，它们都没有考虑到上下文信息，在面对遮挡较大或者形变过大的物体容易导致跟踪失败。

发明内容

本发明的目的在于克服现有技术存在的缺陷，取得更好的跟踪效果。

为实现以上目的，一方面，本发明采用一种基于注意力机制与全局推理的目标跟踪方法，利用基于孪生网络的目标跟踪模型进行目标跟踪，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：

获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；

将第一得分图和第二得分图进行加权求和，得到回归图；

根据回归图，确定目标所在位置。

进一步地，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。

进一步地，所述注意力机制包括通道注意力机制和空间注意力机制，其中：

空间注意力机制用于对输入的特征图进行处理，得到第一特征图；

通道注意力机制用于对输入的特征图进行处理，得到第二特征图；

将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。