[发明专利]一种基于注意力掩膜的抗遮挡目标跟踪方法

说明书

本发明涉及一种基于注意力掩膜的抗遮挡目标跟踪方法，属于计算机视觉领域。针对现有跟踪方法，在目标存在遮挡的情况下，容易出现跟踪飘移的问题，本方法首先通过加入注意力机制的特征提取网络对候选区域图像进行特征提取；然后，利用AMGN网络，根据提取到的候选区域特征和空间注意力矩阵，得到遮挡特征样本，用以在特征空间模拟多种目标遮挡情况，增强遮挡正样本；最后，利用判别网络，根据第二、三卷积层遮挡特征样本的融合对特征属于目标还是背景进行区分，最终实现遮挡情况下的目标跟踪。本方法适用于视频监控、人机交互及无人驾驶等领域，对运动目标进行精确跟踪。

技术领域

本发明涉及一种单目标跟踪方法，特别涉及一种基于注意力掩膜的抗遮挡目标跟踪方法，属于计算机视觉领域。

背景技术

运动目标跟踪是计算机领域的一项重要研究内容，在很多领域都有着广泛的应用，如：视频监控，人机交互，无人驾驶等。现有的运动目标跟踪方法大致可以分为生成式方法和判别式方法，随着深度学习网络的应用，这两种跟踪方法的性能有了大大的提高。

生成式方法通常通过CNN(Convolutional Neural Network)特征学习相关滤波来定位目标。具体地，首先学习一个描述目标的外观模型，接着利用该模型在整个图像区域进行模式匹配，误差最小的区域即为跟踪对象所在位置。但是，生成式方法只关注了跟踪目标本身，而忽略了背景信息，在目标被遮挡或发生剧烈变化时极易发生跟踪飘移。

判别式方法，也称为tracking-by-detection方法。这类方法首先生成多个建议框，然后将每个建议框分类为目标或背景，通过离线预训练或者在线学习的方式，得到可以区分背景对象与前景目标的检测器，并进一步得到被跟踪对象的位置。由于各种在线更新检测器模型的提出，这类方法更能适应跟踪过程中目标对象的复杂变化，因此也逐渐成为目标跟踪研究领域内的主流。但是，在目标受遮挡，样本数据缺乏的情况下，每一帧上的正样本在空间上高度重叠，深度学习模型就难以捕获到大规模遮挡情况下的目标特征，从而导致跟踪失败。

发明内容

本发明针对现有跟踪方法，在目标存在遮挡的情况下，容易出现跟踪飘移的问题，提出一种基于注意力掩膜的抗遮挡目标跟踪方法，目的是使得跟踪器能够更好地分辨遮挡目标，达到较高的准确性和鲁棒性。

本发明的目的是通过以下技术方案来实现的：

本发明公开的一种基于注意力掩膜的抗遮挡目标跟踪方法，首先通过加入注意力机制的特征提取网络对候选区域图像进行特征提取；然后，利用AMGN(Attention-BasedMask Generative Net)网络，根据提取到的候选区域特征和空间注意力矩阵，得到遮挡特征样本，用以在特征空间模拟多种目标遮挡情况，增强遮挡正样本；最后，利用判别网络，根据第二、三卷积层遮挡特征样本的融合对特征属于目标还是背景进行区分，最终实现遮挡情况下的目标跟踪。

一种基于注意力掩膜的抗遮挡目标跟踪方法，具体包含以下步骤：

步骤1：搭建用于离线训练的目标跟踪网络并对训练数据进行预处理。

用于离线训练的网络结构主要包括特征提取网络和判别网络。所述特征提取网络由三层预训练的卷积层conv1，conv2，conv3组成，在conv3之后加入CBAM模块的输出作为conv3的输出。之后利用两个全连接层FC4-1和FC4-2对conv2和conv3得到的特征图进行级联处理至全连接层fc4和fc5。最后一层为多组二分类层，称为fc6。fc4～6统称为判别网络。

原始训练数据包含多个视频内截取的连续视频帧，每帧图像通过人工标注的Bounding Box(后文简称bbox)，也就是Ground-Truth bbox(后文简称gt-bbox)表示了目标在图像内所处的位置。每个视频序列内的每帧图像内，根据gt-bbox建立正负样本集。

步骤2：对搭建的目标跟踪网络进行离线训练。