[发明专利]一种基于倒残差的孪生网络目标跟踪方法

权利要求书

1.一种基于倒残差的孪生网络目标跟踪方法，其特征在于，包括如下步骤：

(1)建立一个倒残差结构的孪生倒残差主干网络、横向连接网络和区域推荐网络的目标跟踪算法模型；

(2)基于VID、DET大规模图像数据集，剪裁制作成训练数据集，对每个周期动态调整学习率，采用SGD算法对整个网络进行端对端的训练；

(3)跟踪过程中，在视频第一帧时进行初始化，将跟踪目标框内图像送入主干网络中并通过横向连接网络提取特征形成目标模板；

(4)后续帧中，以上一帧目标位置为中心取两倍上一帧跟踪框大小为搜索区域，将搜索区域图像送入到孪生倒残差主干网络和横向连接网络提取浅中深三层特征图；基于多锚框方法，将第一帧模板特征与后续帧搜索区域特征图分别送入三个区域推荐网络中做相关操作，在分类分支得到每个锚框的前景和背景的分类得分图，在回归分支中对每个锚框做精细化回归；

(5)对三个区域推荐网络的输出结果做平均化融合，添加系数惩罚，选出正样本得分最大的锚框，根据回归分支参数对锚框进行精细化回归，给出最终目标预测框，在新一帧中重复上述操作直至视频结束。

2.如权利要求1所述的基于倒残差的孪生网络目标跟踪方法，其特征在于，步骤(1)中，建立一个倒残差结构的孪生倒残差主干网络、横向连接网络和区域推荐网络的目标跟踪算法模型具体包括如下步骤：

(11)孪生倒残差主干网络，由一个普通卷积层和17个倒残差模块组成，每个模块先经过1×1卷积升维并添加ReLU6激活函数激活，再通过3×3深度可分离卷积来提取特征并增大感受野，同时添加ReLU6激活函数激活，后经过1×1卷积降维直接通过线性瓶颈单元连接到下一层；

(12)将从孪生倒残差主干网络中第6、13、17个倒残差模块的输出提取出，送入横向连接网络，先将深层特征图通过1×1卷积降维，然后将其与次级特征图对位相加之后通过一3×3卷积去除混叠效应，最终得到三个融合后特征图；

(13)将经过横向连接网络特征融合的三个特征图，送入到区域推荐网络中，先通过3×3卷积映射到分类分支和回归分支两个不同空间，再将融合过后的模版帧特征图与搜索区域特征图做相关操作得出分类得分特征图和回归参数特征图。

3.如权利要求1所述的基于倒残差的孪生网络目标跟踪方法，其特征在于，步骤(2)中，基于VID、DET大规模图像数据集，剪裁制作成训练数据集，对每个周期动态调整学习率，采用SGD算法对整个网络进行端对端的训练具体包括如下步骤：

(21)选择训练数据集包括DET数据集、视频目标检测VID数据集、目标检测COCO数据集和Youtube-bb数据集，在预处理时将每一张图像都分别裁剪成127×127和255×255的图像，对尺寸不足的目标使用图像的三通道均值填充，裁剪时以均匀分布的采样方式让目标在中心点附近进行偏移；

(22)准备好的图像对训练时用于孪生网络两支的输入，并进行仿射变换，灰度变换等方式进行数据增强，加载在ImageNet分类数据集上预训练的孪生主干网络模型进行迁移学习，在分类分支计算交叉熵损失，在回归分支计算SmoothL1损失，最后将两分支损失融合，采用SGD反传梯度更新参数。

4.如权利要求1所述的基于倒残差的孪生网络目标跟踪方法，其特征在于，步骤(3)中，跟踪过程中，在视频第一帧时进行初始化，将跟踪目标框内图像送入主干网络中并通过横向连接网络提取特征形成目标模板具体包括如下步骤：

(31)在跟踪过程中，首先根据待跟踪目标标注对视频的第一帧图像进行裁剪获得跟踪目标，并按比例增添部分背景作为模板，将整体尺寸控制为127×127，宽高不足的采用图像的RGB三通道均值进行补充；

(32)将裁减好的图像送入到轻量级孪生倒残差主干网络中，提取编号6、13、17的三层倒残差模块输出特征图，通过横向连接网络对多层输出图进行特征级融合并，完成新视频对整个跟踪模型的初始化过程。