[发明专利]基于前景区域对应模板特征的视觉跟踪方法及系统

权利要求书

1.基于前景区域对应模板特征的视觉跟踪方法，其特征在于，包括：

获取图像的模板特征和搜索特征；

对获取的图像的模板特征和搜索特征进行特征增强；

从特征增强后的模板特征序列中提取与前景区域对应的模板特征；

将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；

预测融合特征的分类和包围框回归结果，根据回归结果得到图像上待跟踪目标的预测包围框。

2.如权利要求1所述的基于前景区域对应模板特征的视觉跟踪方法，其特征在于，两个特征序列通过自注意力模块进行增强；增强机制为：

其中，P_z和P_x是空间位置编码，f_z^*_EN和f_x^*_EN分别是模板特征和搜索特征被语义增强过的特征序列，f_z^*和f_x^*是增强前的特征序列。

3.如权利要求2所述的基于前景区域对应模板特征的视觉跟踪方法，其特征在于，从特征增强后的模板特征序列中提取与前景区域对应的模板特征时，计算模板特征掩码，将补充参数设置为计算模板特征掩码。

4.如权利要求3所述的基于前景区域对应模板特征的视觉跟踪方法，其特征在于，将模板特征作为自注意力模块的键和值，将搜索特征作为自注意力模块的查询。

5.如权利要求3所述的基于前景区域对应模板特征的视觉跟踪方法，其特征在于，在特征融合层中加入FFN模块。

6.基于前景区域对应模板特征的视觉跟踪器，其特征在于，包括：

骨干网络，用于：获取图像的模板特征和搜索特征

特征融合网络，用于：对获取的图像的模板特征和搜索特征进行特征增强；从特征增强后的模板特征序列中提取与前景区域对应的模板特征；将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；

预测头部网络，用于：预测融合特征的分类和包围框回归结果。

7.如权利要求6所述的基于前景区域对应模板特征的视觉跟踪器，其特征在于，所述视觉跟踪器为Transformer视觉跟踪器。

8.基于前景区域对应模板特征的视觉跟踪方法，其特征在于，包括：

数据采集模块，用于：获取图像的模板特征和搜索特征；

增强模块，用于：对获取的图像的模板特征和搜索特征进行特征增强；

提取模块，用于：从特征增强后的模板特征序列中提取与前景区域对应的模板特征；

融合模块，用于：将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；

预测模块，用于：预测融合特征的分类和包围框回归结果，根据回归结果得到图像上待跟踪目标的预测包围框。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-5任一项所述的基于前景区域对应模板特征的视觉跟踪方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-5任一项所述的基于前景区域对应模板特征的视觉跟踪方法的步骤。