[发明专利]一种基于注意力机制与全局推理的目标跟踪方法及系统

权利要求书

1.一种基于注意力机制与全局推理的目标跟踪方法，其特征在于，利用基于孪生网络的目标跟踪模型进行目标跟踪，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：

获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；

将第一得分图和第二得分图进行加权求和，得到回归图；

根据回归图，确定目标所在位置。

2.如权利要求1所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。

3.如权利要求1所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述注意力机制包括通道注意力机制和空间注意力机制，其中：

空间注意力机制用于对输入的特征图进行处理，得到第一特征图；

通道注意力机制用于对输入的特征图进行处理，得到第二特征图；

将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。

4.如权利要求3所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述全局推理模块用于将注意力特征图的特征投影到交互空间的节点上，进行推理，然后将交互空间节点的特征映射到原空间，得到新特征图；将新特征图与所述注意力特征图相加，得到新特征图。

5.如权利要求4所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图，包括：

将所述模板分支中的全局推理模块输出的新特征图与所述搜索分支中的全局推理模块输出的新特征图执行互相关运算，分别得到所述第一得分图和所述第二得分图。

6.一种基于注意力机制与全局推理的目标跟踪系统，其特征在于，包括图片获取模块和目标跟踪模块，其中：

图片获取模块用于获取初始帧图片和当前帧图片；

目标跟踪模块用于利用目标跟踪模型对初始帧图片和当前帧图片进行处理，确定目标所在位置，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，所述模板分支和搜索分支分别对初始帧图像和当前帧图像进行处理，得到第一得分图和第二得分图，并将第一得分图和第二得分图进行加权求和，得到回归图，确定目标所在位置。

7.如权利要求6所述的基于注意力机制与全局推理的目标跟踪系统，其特征在于，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。

8.如权利要求6所述的基于注意力机制与全局推理的目标跟踪系统，其特征在于，所述注意力机制包括通道注意力机制和空间注意力机制，其中：

空间注意力机制用于对输入的特征图进行处理，得到第一特征图；

通道注意力机制用于对输入的特征图进行处理，得到第二特征图；

将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。

9.如权利要求8所述的基于注意力机制与全局推理的目标跟踪系统，其特征在于，所述全局推理模块用于将注意力特征图的特征投影到交互空间的节点上，进行推理，然后将交互空间节点的特征映射到原空间，得到新特征图；将新特征图与所述注意力特征图相加，得到新特征图。