[发明专利]一种基于Transformer结构的局部和全局视角兼容的目标跟踪方法

权利要求书

1.一种基于Transformer结构的局部和全局视角兼容的目标跟踪方法，其特征在于，步骤如下：

步骤1：给定初始帧待跟踪目标的包围框b_init＝{x,y,w,h}，通过基于Transformer结构的局部-全局跟踪器获得当前视频帧的局部跟踪候选结果框和多个全局跟踪候选结果框，以及这些跟踪候选结果框的回归质量预测得分；

基于Transformer结构的局部-全局跟踪器结构具体如下：

局部-全局跟踪器的结构由联合的特征提取和特征融合网络、回归框预测网络和回归质量预测网络构成；联合的特征提取和特征融合网络由基于Transformer的ViT-Base结构构成；以第一帧目标位置向四周扩充一定比例，裁剪得到包含以待跟踪目标为中心的模板区域；以待跟踪目标在前一帧的位置在当前帧以一定比例扩充搜索区域，裁剪得到当前帧的目标搜索区域；目标搜索区域和模板区域分别以16为区间被划分成相同大小的若干图像块，目标搜索区域和模板区域的图像块经过编码后，编码的图像块对应被序列拼接后和可学习的查询目标特征分别送入Transformer编码层，完成特征提取和目标搜索区域特征与模板区域特征的融合；然后具有待跟踪目标分辨能力的目标搜索区域特征被送入回归框预测网络，获得预测的回归框；查询目标特征被作为输入送入回归质量预测网络；在回归框预测网络前，查询目标特征将对目标搜索区域特征加权以获得其与预测回归框的一一对应关系；从而得到局部和全局搜索区域内的目标跟踪结果及其预测得分；

其中，步骤1具体包含以下处理步骤：

(1)前处理：局部搜索区域需要将输入图像以上一帧跟踪结果为基准进行裁剪、缩放，使图片尺寸与网络输入尺寸相同；全局搜索区域需要将输入图像缩放并填充补边，使图片尺寸与网络输入尺寸相同；

(2)网络前向推理得到预测的跟踪候选结果框和其对应的回归质量预测得分；

步骤2：当局部跟踪候选结果框的回归质量预测得分高于设定阈值时，采用局部跟踪结果作为当前帧的最终跟踪结果；当局部跟踪候选结果框的回归质量预测得分低于设定阈值时，从全局跟踪候选结果框和局部跟踪候选结果框的多个结果中选择与第一帧给定的初始帧目标b_init的特征向量距离最小的踪候选结果框作为当前帧的最终跟踪结果；特征向量由特征编码网络对跟踪候选结果框进行特征提取，每个跟踪候选结果框对应一个256维特征向量；其中，跟踪候选结果框的回归质量预测得分低于设定阈值τ_filter的跟踪候选结果框被定义为低质量回归框，不参与最终跟踪结果的筛选；

步骤3：根据当前及历史帧的回归质量预测得分，决策当前帧跟踪状态是否适合更新动态模板；

将第t帧局部跟踪结果记作其回归质量预测得分记为第一帧的初始化目标框为b_init，模板裁剪函数记作p(·)，模型前向推理记作θ(·)；则满足以下3个条件时，该帧状态用作动态模板更新；否则不更新；

其中，τ_high是预测得分阈值，τ_back是IoU阈值；

步骤4：每一帧执行步骤1-3至跟踪视频结束。