[发明专利]一种基于双分支孪生网络结构的视觉目标跟踪方法

权利要求书

1.一种基于双分支孪生网络结构的视觉目标跟踪方法，其特征在于，所述方法包括以下步骤：

S100、训练阶段，获取原始模板图像z和原始搜索图像x；对所述原始模板图像和原始搜索图像进行预处理，得到模板图像z_sz和搜索图像x_sz，并将所述模板图像z_sz和搜索图像x_sz作为训练数据并构建训练数据集；训练时，所有图像的Bounding Box均已知；

S200、将所述模板图像z_sz和搜索图像x_sz输入到双分支孪生网络结构进行特征提取，具体为：将所述模板图像z_sz通过浅层分支进行特征提取，得到浅层分支提取出的模板图像特征图；将所述模板图像z_sz通过深层分支进行特征提取，得到深层分支提取出的模板图像特征图；将所述搜索图像x_sz通过浅层分支进行特征提取，得到浅层分支提取出的搜索图像特征图；将所述搜索图像x_sz通过深层分支进行特征提取，得到深层分支提取出的搜索图像特征图；

所述双分支孪生网络结构由一个深层分支和一个浅层分支构成，所述浅层分支用于定位目标的位置信息；所述浅层分支由一个AlexNet网络构成，同时使用多尺度特征融合模块进一步精确定位目标的位置信息；

所述多尺度特征融合模块将特征图输入3×3以及5×5的最大池化层，筛选出不同尺度下的显著特征值点，同时将通道注意力模块作用于原始特征图以及经过池化层的特征图，然后将经过通道注意力模块的特征图与对应经过池化层以及原始的特征图进行融合，得到三个不同尺度下的增强特征，接下来将三个尺度的增强特征进行融合，得到最终的多尺度特征图；

所述深层分支能够提取到目标的语义信息，包括目标的行为特征以及运动轨迹特征；所述深层分支由一个去掉全连接层的VGG网络构成；在该VGG网络中，在涉及填充操作的卷积层后嵌入一个边缘裁剪单元，同时在通道数发生变化的卷积层后嵌入ECA模块，学习变化的通道特征；在所述深层分支提取模板图像的一侧，加入双重注意力模块；

S300、将分别经过深浅两个分支得到的特征图进行互相关操作，即经过所述浅层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，经过所述深层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，得到对应的两个分支响应图；得到分支响应图的表达公式为：

总响应图的计算公式为：

f(z，x)＝m×f₁(z，x)+n×f₂(z，x)+b；

其中代表S200的特征提取操作，f(z,x)为最终的响应图，f_i(z,x)为分支响应图，z和x分别代表模板图像和搜索图像，i＝1,2分别代表浅层和深层分支，m和n代表权重系数，在训练过程中通过不断学习自适应的调整比重，b为偏置；

S400、通过分数矩阵进行训练，通过损失函数计算的损失不断优化模型；

S500、跟踪阶段，准备两路输入图像，已知第一帧模板图像的Bounding Box，后续搜索图像的Bounding Box未知；按照要求构建出模板图像和搜索图像；

S600、将模板图像和第二帧搜索图像输入到双分支孪生网络结构中，分别得到对应的四种特征图；

S700、分别将经过浅层分支提取到的模板图像和搜索图像的特征图进行互相关，将深层分支提取到的模板图像和搜索图像的特征图进行互相关，得到两个分支响应图；得到分支响应图的表达公式为：

其中代表S200的特征提取操作，f_i(z,x)为分支响应图，z和x分别代表模板图像和搜索图像，b代表偏置，i＝1,2分别代表浅层和深层分支；

S800、将分支响应图通过训练阶段学习到的最优权重比进行融合，得到最终响应图；融合公式为：

f(z，x)＝m×f₁(z，x)+n×f₂(z，x)+b；

f(z,x)为最终的响应图，m和n代表权重系数，范围为(0,1)，b为偏置；

S900、针对搜索图像，为了应对跟踪过程中的尺度变化，将在三种尺度上对搜索图像进行处理，三种尺度分别为1.0375^{{[-2,-0.5,1]}}，因此最终会生成这三种尺度的响应图；

S1000、使用双三次线性插值将响应图映射为搜索图像的尺寸，取出三种尺度中数值最高点的位置(x,y)，并将其作为预测目标的中心；同时根据数值最高点的位置(x,y)所在尺度的响应图更新目标的尺寸，具体为：target×scale，其中

scale＝(1-0.359)*1+0.59*(最大值所在尺度)；

target表示待跟踪物体的原始尺寸。