[发明专利]基于前景区域对应模板特征的视觉跟踪方法及系统

说明书

本发明提供了一种基于前景区域对应模板特征的视觉跟踪方法及系统，包括：获取图像的模板特征和搜索特征；对获取的图像的模板特征和搜索特征进行特征增强；从特征增强后的模板特征序列中提取与前景区域对应的模板特征；将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；预测融合特征的分类和包围框回归结果；利用与前景区域对应的模板特征增强搜索特征，减少了模板块中背景信息的干扰，实现了目标从背景中准确分离出来的效果。

技术领域

本发明属于视觉跟踪技术领域，尤其涉及一种基于前景区域对应模板特征的视觉跟踪方法及系统。

背景技术

视觉目标跟踪是计算机视觉中的一项基本任务，其目的是在已知第一帧目标包围框的情况下预测后续视频序列中目标的包围框和位置；它在视频监控、人机交互等领域有着广泛的应用；然而，大多数流行的视觉跟踪器(如SiamFC、SiamRPN++和ATOM)在选择模板块时，选择区域的大小是几倍于目标包围框的大小；这会导致一些模板特征中包含大量的背景信息；这些跟踪器使用互相关操作将所有的模板特征与搜索特征进行匹配，很难精确地将目标从背景中分离出来。

发明人发现，目前已经有一些视觉跟踪器对模板特征与搜索特征的深度融合进行了探索，但是，它们没有考虑到模板块中背景信息对融合过程的干扰，背景信息特征与搜索特征相匹配，会干扰跟踪器准确地将目标从背景中分离出来。

发明内容

本发明为了解决上述问题，提出了一种基于前景区域对应模板特征的视觉跟踪方法及系统，本发明提取了与图像上前景区域对应的模板特征(TFFR)，利用TFFR增强搜索特征，减少了模板块中背景信息的干扰。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种基于前景区域对应模板特征的视觉跟踪方法，包括：

获取图像的模板特征和搜索特征；

对获取的图像的模板特征和搜索特征进行特征增强；

从特征增强后的模板特征序列中提取与前景区域对应的模板特征；

将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；

预测融合特征的分类和包围框回归结果，根据回归结果得到图像上待跟踪目标的预测包围框。

进一步的，两个特征序列通过自注意力模块进行增强；增强机制为：

其中，P_z和P_x是空间位置编码，和分别是模板特征和搜索特征被语义增强过的特征序列，f_z^*和f_x^*是增强前的特征序列。

进一步的，从特征增强后的模板特征序列中提取与前景区域对应的模板特征时，计算模板特征掩码，将补充参数设置为计算模板特征掩码。

进一步的，将模板特征作为自注意力模块的键和值，将搜索特征作为自注意力模块的查询。

进一步的，在特征融合层中加入FFN模块。

第二方面，本发明还提供了一种基于前景区域对应模板特征的视觉跟踪器，包括：

骨干网络，用于：获取图像的模板特征和搜索特征

特征融合网络，用于：对获取的图像的模板特征和搜索特征进行特征增强；从特征增强后的模板特征序列中提取与前景区域对应的模板特征；将与前景区域对应的模板特征与增强后的搜索特征进行融合，得到融合特征；

预测头部网络，用于：预测融合特征的分类和包围框回归结果，根据回归结果得到图像上待跟踪目标的预测包围框。