[发明专利]基于上下文自注意力学习深度网络的目标跟踪方法与系统

权利要求书

1.一种基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤一、在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成，并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征；

步骤二、通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息，通过所述上下文自注意力学习模块，结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息，将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息，所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中，利用输入键之间的上下文信息来指导动态注意力矩阵的学习，以增强目标特征表示能力；

步骤三：利用大规模数据集，对所述特征提取网络模型进行预训练，并结合区域建议网络对所述特征提取网络模型的参数进行调整；

步骤四：利用预训练后的所述特征提取网络模型，在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征，并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中；

步骤五：利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算，以得到对应的相似度得分图；

步骤六：根据所述相似度得分图，将最大相似度得分值对应的相似度得分图确定为跟踪定位目标；

在所述步骤二中，在所述上下文自注意力学习模块中，目标特征图表示为；

其中，表示实数矩阵，表示目标特征图的高度，表示目标特征图的宽度，表示目标特征图的通道数；

目标特征图的键表示为：

；

目标特征图的查询表示为：

；

目标特征图的值表示为：

；

其中，表示卷积操作，表示所输入的嵌入矩阵；

所述上下文自注意力学习模块提取得到的目标特征图的方法包括如下步骤：

对所有相邻的键进行卷积，用于使得键有效捕获相邻键之间的上下文信息，对应的公式表示为：

；

其中，表示卷积权重，表示局部相邻键之间的静态上下文信息；

将局部相邻键之间的静态上下文信息与查询进行拼接，通过两个连续的卷积得到注意力矩阵，对应的公式表示为：

；

其中，表示拼接操作，表示带有ReLU激活函数的权重系数，表示不带有激活函数的权重系数，表示基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵；

将基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵与自注意力机制中所有值进行聚集以得到目标特征图的上下文表示，对应的计算公式表示为：

；

将目标特征图的上下文表示与局部相邻键之间的静态上下文信息进行融合，以得到通过上下文自注意力学习模块后的特征图，对应的计算公式表示为：

；

其中，表示融合操作。

2.根据权利要求1所述的基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，在所述步骤五中，利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算的步骤中，进行深度卷积计算的公式表示为：

；

；

其中，表示跟踪目标的分类特征图，表示模板分支的分类特征图，表示搜索分支的分类特征图，表示跟踪目标的回归特征图，表示模板分支的回归特征图，表示搜索分支的回归特征图，表示深度卷积计算。

3.根据权利要求2所述的基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，在计算得到了分类特征图与回归特征图之后，所述方法还包括：

将分类特征图与回归特征图分别进行加权求和，对应的公式表示为：

；

；

其中，表示目标特征分类分数特征图，表示第个卷积块分类特征图的深度卷积结果的权重，表示第个卷积块分类特征图的深度卷积结果，表示目标特征回归分数特征图，表示第个卷积块回归特征图的深度卷积结果的权重，表示第个卷积块回归特征图的深度卷积的结果。