[发明专利]基于背景修复和胶囊网络的目标跟踪方法

说明书

本发明公开了一种基于背景修复和胶囊网络的目标跟踪方法，所述方法包括如下步骤：一、构建背景胶囊表示；二、构建目标胶囊；三、设计背景‑目标胶囊路由算法，获得背景‑目标胶囊表示；四、将背景‑目标路由胶囊的大小调整为36×36×64，然后通过3个反卷积操作将这些特征进行放大处理，最后得到与输入大小相同的288×288×1的背景响应图，通过对其进行取反操作，得到目标的响应图；五、将背景胶囊表示通过一个反卷积层调整到36×36×64，之后通过3个反卷积层，每层对应的核大小为3×3，逐步将36×36×64大小的特征放大到288×288×3，生成3通道的背景修复图像。本发明将目标跟踪的关注点从目标自身转移至对目标与背景差异的刻画，规避了单一外观模型无法应对目标各种外观变化的缺陷。

技术领域

本发明涉及一种目标跟踪方法，具体涉及一种基于背景修复和胶囊网络的目标跟踪方法。

背景技术

目前，主流的跟踪方法主要利用前景线索(目标信息)来设计一个鲁棒的外观模型并进行增量式地更新，其中背景线索只起辅助作用。然而，现实场景中存在多种因素，能够引起目标的外观变化，这些因素包括形变、坐标内旋转、坐标外旋转以及遮挡等。不同的干扰因素可能会导致不同的外观变化，并且不同种类的物体的外观也可能以不同的方式变化。因此，采用单一外观模型来应对多样的和不可预测的外观变化是非常困难的。此外，在本质上，深度回归跟踪旨在学习目标对象与包含场景及干扰物的背景之间的差异。当目标的外观发生变化时，目标与其周遭的背景上下文之间的差异不一定会减小。因此，通过设计一个鲁棒的背景上下文模型，可以大大减少目标外观的多样性和不可预测性带来的影响。

发明内容

针对单一外观模型无法应对目标复杂的外观变化，本发明将注意力从关注目标自身外观变化转移到更易捕捉的目标与背景的差异，提供了一种基于背景修复和胶囊网络的目标跟踪方法。

本发明的目的是通过以下技术方案实现的：

一种基于背景修复和胶囊网络的目标跟踪方法，设计了一种基于胶囊的端到端训练的网络，使用背景修复来进行深度回归跟踪。背景修复网络通过在视频序列中探索与目标表示之间有区别能力的背景表示。这样的背景表示，辅以目标自身的表示，用来在每一帧中预测目标的位置。背景和目标表示都被编码成胶囊形成，以捕获场景中物体与目标之间的空间关系。通过提出的背景-目标路由算法来推算出背景和目标之间的一致性，以产生目标轮廓的高响应值。具体包括如下步骤：

步骤一、设计背景修复网络提取背景线索，构建背景胶囊表示，如图1所示，上方即为背景修复网络，将目标区域视为待修复的背景区域，给定每个视频帧以及要填充的区域，背景修复网络的目标是通过在其它视频帧中找到正确的像素来填充该区域，构建背景胶囊表示的具体步骤如下：

(1)将目标图像和两类参考图像及其对应的掩码(即黑色和红色表示的分割图像，黑色表示背景区域，红色表示目标区域)输入编码器1(即背景修复网络)进行编码，得到背景信息编码36×36×512，其中：目标图像为当前搜索区域，两类参考图像为前序帧的搜索区域修复结果和前序帧的背景上下文修复结果；

(2)利用以上背景信息编码，生成背景胶囊36×36×16×17，包括胶囊的姿态矩阵36×36×16×16和对应的激活值36×36×16×1。

步骤二、设计目标感知网络提取目标线索，构建目标胶囊，如图1所示，下方即为目标感知网络，通过将当前搜索区域输入目标感知网络，得到目标信息编码，进而生成目标胶囊表示，构建目标胶囊的具体步骤如下：

(1)通过给定搜索区域提取目标线索，即通过将搜索区域输入编码器2(即目标感知网络)得到目标信息编码36×36×16；

(2)利用以上目标信息编码，生成目标胶囊1×1×16×17，包括胶囊的姿态矩阵1×1×16×16和对应的激活值1×1×16×1。

步骤三、设计背景-目标胶囊路由算法，获得背景-目标胶囊表示，如图1所示，中间的圆形区域即为背景-目标，具体步骤如下：