[发明专利]一种基于注意力掩膜的抗遮挡目标跟踪方法

权利要求书

1.一种基于注意力掩膜的抗遮挡目标跟踪方法，其特征在于，包括如下步骤：

步骤1：搭建用于离线训练的目标跟踪网络并对训练数据进行预处理；

步骤2：对搭建的目标跟踪网络进行离线训练；

步骤3：在线跟踪；

步骤4：实时跟踪；

步骤5：实时训练。

2.如权利要求1所述的一种基于注意力掩膜的抗遮挡目标跟踪方法，其特征在于：步骤1的实现方法为：

用于离线训练的网络结构主要包括特征提取网络和判别网络；特征提取网络由三层预训练的卷积层conv1，conv2，conv3组成，在conv3之后加入CBAM模块的输出作为conv3的输出；之后利用两个全连接层FC4-1和FC4-2对conv2和conv3得到的特征图进行级联处理至全连接层fc4和fc5；最后一层为多组二分类层，称为fc6；fc4～6统称为判别网络；

原始训练数据包含多个视频内截取的连续视频帧，每帧图像通过人工标注的bbox，也就是gt-bbox表示了目标在图像内所处的位置；每个视频序列内的每帧图像内，根据gt-bbox建立正负样本集。

3.如权利要求1所述的一种基于注意力掩膜的抗遮挡目标跟踪方法，其特征在于：步骤2的实现方法为：

离线训练中每一个视频序列对应一个fc6，每轮训练一次循环选择N个视频中的一个作为当前样本源，并将该序列对应的fc6设置为trainable，其余fc6设置为untrainable；所述视频来源于已经进行人工标注的标准数据集；Conv1～3，fc4，fc5共享权重，并且是trainable的；离线网络的输入为步骤1中选取的正负样本bbox经过缩放统一至w×h分辨率的图像样本；通过当前训练数据训练，最终获得conv1，conv2，conv3层的参数，以及fc4和fc5层的初始参数；训练损失函数为：

其中，L_D代表训练损失，posLoss为正样本得分，negLoss为负样本得分；

利用SGD优化器对网络进行优化。

4.如权利要求1所述的一种基于注意力掩膜的抗遮挡目标跟踪方法，其特征在于：步骤3的实现方法为：

步骤3.1为了完成在线跟踪过程中的在线训练过程，搭建AMGN网络；对离线训练网络进行网络结构修改；

所述AMGN网络由两层全连接层构成，以conv3提取到的特征图C³和空间注意力权重矩阵M^a作为输入；置于特征提取网络之后，判别网络之前；

保留一个fc6，并随机重置其参数；以conv3的输出建立一个全连接层作为边框回归层fc_bbox；

步骤3.2启动跟踪和边框回归

利用跟踪首帧人为标注的bbox，及gt-bbox表示当前跟踪目标，根据gt-bbox的位置建立输入样本，使用线性回归得到fc_bbox的参数；完成边框回归后，fc_bbox不再更新，直到下次跟踪；

步骤3.3首帧训练

根据gt-bbox的位置和IoU建立正负输入样本，除AMGN网络外，利用SGD优化器进行迭代训练；在特征提取部分获取第三层卷积结果多通道特征图C³，第二层卷积结果多通道特征图C²；同时获得空间注意力权重矩阵M^a；

步骤3.4AMGN预训练

步骤3.4.1掩膜生成标签

针对所有提取到的正样本特征图，空间注意力模块的结果M^a，其大小与单通道的C³相同；选取空间注意力权重矩阵中的最大值所在的位置置零，其余置一，作为掩膜的候选标签；通过选择分类得分最低的模板作为最终的生成标签Label_G；

步骤3.4.2遮挡样本生成

根据Label_G，使用AMGN网络生成基于注意力机制的掩膜M＝G(C³)，G表示AMGN网络的生成操作；将该掩膜与多通道的C³进行点乘，得到遮挡情况下的特征样本，使用公式描述为C³_M＝C³·M；

步骤3.4.3特征融合

由于M大小与第二层卷积后的特征图C²大小不符，需要对掩膜进行处理；在M中处于第r_M行和第c_M列的权重值将被点乘于C²的对应位置第r_S行和第c_S列，得到C²_M，即C²_M＝M²·C²，M²为由M处理后的掩膜；最终经过全连接层处理的两层特征图将进行级联并送入最终的目标分类分支；掩膜调整的过程如下公式描述：

r₁＝((r_M-1)H_S/H_M)+(1/2)

r₂＝(r_MH_S/H_M)+(1/2)

c₁＝((c_M-1)W_S/W_M)+(1/2)

c₂＝(c_MW_S/W_M)+(1/2)

r和c代表r_S和c_S的取值范围。大小为H_S×W_S的掩膜M²直接由大小为H_M×W_M的掩膜M变换得到。其中，H_S代表掩膜M²的高度，W_S代表掩膜M²的宽度；H_M代表掩膜M的高度，W_M代表掩膜M的宽度。

步骤3.4.4AMGN网络预训练

AMGN网络的预训练损失函数为MSELoss，使用公式描述如下：

其中，x_i，y_i为掩膜模板与生成掩膜对应位置数值；利用SGD优化器对网络进行优化。