[发明专利]一种基于互相关匹配增强孪生网络的目标跟踪方法及系统

权利要求书

1.一种基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述方法包括：

对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；

将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，通过所述互相关匹配增强孪生网络提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；

根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。

2.根据权利要求1所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述互相关匹配增强孪生网络的构建和训练过程包括：

获取目标视频序列帧数据集，根据图像的目标位置和尺寸，对数据集中的每一帧图像进行裁剪，获得所有帧图像的模板图像和搜索图像，将其作为训练样本集；

构建互相关匹配增强孪生网络，所述互相关匹配增强孪生网络包括特征提取网络、互相关匹配网络、分类回归网络及边界框编码模块；所述特征提取网络为改进的ResNet50深度残差网络，所述ResNet50深度残差网络的改进包括：去除原ResNet50深度残差网络的第五层卷积层，将第三层和第四层的卷积步长均设置为1，第三层和第四层的扩张卷积的大小均设置为4；

基于所述训练样本集对所构建的互相关匹配增强孪生网络进行训练，获得训练好的互相关匹配增强孪生网络。

3.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述对数据集中的每一帧图像进行裁剪的方法包括：

将目标视频序列的首帧图像以目标为中心裁剪为127*127*3大小的模板图像，从第二帧开始，将目标视频序列的后续帧的图像以目标为中心裁剪为255*255*3大小。

4.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述互相关匹配网络包括横向尺度提取模块、纵向尺度提取模块和级联双重互相模块；

所述级联双重互相关模块用于将模板特征和搜索特征进行像素匹配互相关操作后，与模板特征进行深度可分离互相关操作，得到级联双重互相关特征，其计算公式为：

f_pm＝PM(f_z,f_x)

F_Dw＝DW(f_pm,f_z) (1)

式中，f_pm表示模板特征f_z和搜索特征f_x的像素匹配互相关特征，PM表示像素匹配互相关；F_Dw表示级联双重互相关特征，DW表示深度可分离互相关；

所述横向尺度提取模块用于提取模板特征与搜索特征的横向尺度分支特征，其计算公式为：

H_k＝HD_3:1(N_k)

F_H＝DW(f_z*H_k,f_x*H_k) (2)

式中：N_k表示常规的N*N卷积核，H_k表示卷积核N_k经HD_3:1横向3:1的卷积扩张为7*3大小的横向卷积核；F_H表示横向尺度分支特征；*表示卷积操作；

所述纵向尺度提取模块用于提取模板特征与搜索特征的纵向尺度分支特征，其计算公式为：

V_k＝VD_1:3(N_k)

F_V＝DW(f_z*V_k,f_x*V_k) (3)

式中，V_k表示卷积核N_k经VD_1:3纵向进行1:3的卷积扩张为3*7大小的纵向卷积核；F_V表示纵向尺度分支特征。