[发明专利]基于孪生网络的强耦合目标跟踪方法、装置、介质及设备

权利要求书

1.一种基于孪生网络的强耦合目标跟踪方法，其特征在于，包括以下步骤：

获取目标图像，并从待测视频中逐帧提取一帧待测图像；

将所述目标图像和待测图像作为预训练的目标跟踪模型的输入，检测获得待测图像的预测目标位置；

其中，所述目标跟踪模型基于SiamRPN构建，该目标跟踪模型训练时，采用联合优化模块对分类分支和边框回归分支进行训练，所述联合优化模块采用的损失函数包括基于联合优化的分类损失函数和基于IoU的边框损失函数。

2.根据权利要求1所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，所述基于联合优化的分类损失函数和基于IoU的边框损失函数为不相关联的损失函数。

3.根据权利要求1或2所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，所述基于联合优化的分类损失函数表示为：

其中：pos表示正样本集合；neg表示负样本集合；iouⁱ为第i个样本的预测边框和真实边框之间的IoU值；wⁱ(iouⁱ)为以第i个样本IoU值为自变量的耦合因子，CE(pⁱ，gⁱ)为交叉熵损失函数，即单样本分类损失，gⁱ和pⁱ分别为样本i的真实标签和预测值。

4.根据权利要求3所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，所述耦合因子wⁱ(iouⁱ)的计算公式为：

其中：α表示超参；n表示正样本数量。

5.根据权利要求1或2所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，所述基于IoU的边框损失函数表示为：

L_b＝∑_i∈posw_bⁱ(iouⁱ)∑_{j∈{x，y，w，h}}smooth_L1(d_i[j])

其中：pos表示正样本集合；iouⁱ为第i个样本的预测边框和真实边框之间的IoU值；w_bⁱ(iouⁱ)为以第i个样本IoU值为自变量的权重因子，smooth_L1(d_i[j])为smooth L1损失函数，d_i[j]为样本i的某一边框预测值与正则化真实值之差，j包括边框的中心横纵坐标x和y、边框的宽w和高h。

6.根据权利要求5所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，所述权重因子w_bⁱ(iouⁱ)的计算公式为：

其中：β为超参。

7.根据权利要求1所述的基于孪生网络的强耦合目标跟踪方法，其特征在于，根据所述目标跟踪模型输出的分类置信响应图和边框位置信息确定待测图像的所述预测目标位置。

8.一种基于孪生网络的强耦合目标跟踪装置，其特征在于，包括：

图像获取模块，用于获取目标图像，并从待测视频中逐帧提取一帧待测图像；

预测模块，用于将所述目标图像和待测图像作为预训练的目标跟踪模型的输入，检测获得待测图像的预测目标位置；

其中，所述目标跟踪模型基于SiamRPN构建，该目标跟踪模型训练时，采用联合优化模块对分类分支和边框回归分支进行训练，所述联合优化模块采用的损失函数包括基于联合优化的分类损失函数和基于IoU的边框损失函数。

9.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述基于孪生网络的强耦合目标跟踪方法的指令。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；和

被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述基于孪生网络的强耦合目标跟踪方法的指令。