[发明专利]基于背景修复和胶囊网络的目标跟踪方法

权利要求书

1.一种基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述方法包括如下步骤：

步骤一、设计背景修复网络提取背景线索，构建背景胶囊表示；

步骤二、设计目标感知网络提取目标线索，构建目标胶囊；

步骤三、设计背景-目标胶囊路由算法，获得背景-目标胶囊表示；

步骤四、将背景-目标路由胶囊的大小调整为36×36×64，然后通过3个反卷积操作将这些特征进行放大处理，最后得到与输入大小相同的288×288×1的背景响应图，通过对其进行取反操作，得到目标的响应图；

步骤五、将背景胶囊表示通过一个反卷积层调整到36×36×64，之后通过3个反卷积层，每层对应的核大小为3×3，逐步将36×36×64大小的特征放大到288×288×3，生成3通道的背景修复图像。

2.根据权利要求1所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述构建背景胶囊表示的具体步骤如下：

(1)将目标图像和两类参考图像及其对应的掩码输入编码器1进行编码，得到背景信息编码36×36×512，其中：目标图像为当前搜索区域，两类参考图像为前序帧的搜索区域修复结果和前序帧的背景上下文修复结果；

(2)利用以上背景信息编码，生成背景胶囊36×36×16×17，包括胶囊的姿态矩阵36×36×16×16和对应的激活值36×36×16×1。

3.根据权利要求2所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述编码器1由在ImageNet上预训练的VGG-16模型的conv4和conv5组成。

4.根据权利要求1所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述构建目标胶囊的具体步骤如下：

(1)通过给定搜索区域提取目标线索，即通过将搜索区域输入编码器2得到目标信息编码36×36×16；

(2)利用以上目标信息编码，生成目标胶囊1×1×16×17，包括胶囊的姿态矩阵1×1×16×16和对应的激活值1×1×16×1。

5.根据权利要求4所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述编码器2由在ImageNet上预训练的VGG-16模型的conv4和conv5组成。

6.根据权利要求1所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述获得背景-目标胶囊表示的具体步骤如下：

(1)将背景胶囊表示看成一个胶囊网格C_b，其包括姿态矩阵M_b及其对应的激活值a_b，目标胶囊表示记为C_t，其姿态矩阵和激活值分别记为M_t和a_t，给定来自特定域d_i和d_j的目标胶囊的姿态矩阵表示和计算和两者之间的相似度

其中，·表示内积运算；

(2)如果大于设定的阈值时，将在当前域的目标表示中抑制这种高度相似的干扰信息：

其中，表示当前域抑制干扰信息的目标胶囊姿态矩阵；

(3)当前域细化的姿态矩阵表示通过如下公式得到：

其中，表示所有域细化之后的目标胶囊姿态矩阵，D表示训练集中域的数量，一个域对应一个视频序列；

之后，对相似度进行排序，选择其中排名前3的域来细化当前域的目标表示；

(4)使用胶囊网格路由算法，即在网格中的每个位置找到背景和目标胶囊的投票之间的一致性。

7.根据权利要求6所述的基于背景修复和胶囊网络的目标跟踪方法，其特征在于所述投票过程表示为：

V_xy＝M_xT_xy；

其中，x和y分别相邻两层的胶囊，M_x表示底层胶囊x的姿态矩阵，T_xy表示两层胶囊之间可学习的转换矩阵，V_xy表示两层之间的投票。