[发明专利]一种基于三元组网络的目标跟踪稳定性方法

权利要求书

1.一种基于三元组网络的目标跟踪稳定性方法，其特征在于，具体按照以下步骤实施：

步骤1、设计三元组目标确认网络结构；

步骤2、定义三元组目标确认网络的目标损失函数；

步骤3、离线训练三元组目标确认网络，得到训练后的网络模型M_tri；

步骤4、读取视频V,V＝{img_k}，img_k为第k帧图像，1≤k≤K,K为视频V中的图像总帧数，采用基于三元组网络的目标跟踪稳定性方法对视频V进行目标跟踪，输出目标跟踪结果RS＝{R′_k}，R′_k表示img_k的目标跟踪框。

2.根据权利要求1所述一种基于三元组网络的目标跟踪稳定性方法，其特征在于，所述步骤1具体过程为：

步骤1中三元组目标确认网络结构由输入模块、特征提取模块和相似性度量模块串联组成；

对三元组数据(x,x⁺,x^-)分别进行归一化处理，得到归一化后的三元组数据(x₁,x₁⁺,x₁^-)，三元组数据(x₁,x₁⁺,x₁^-)大小都为w×h×c，把(x₁,x₁⁺,x₁^-)送入网络的输入模块，其中w×h为图像的大小，c为图像的通道数；

特征提取模块包括三个权值共享的卷积网络，每个卷积网络包括5组卷积层和1个最大池化层，具体连接顺序为：[Conv1]—[MaxPool]—[Conv2-1-Conv2-2-Conv2-3]—[Conv3-1-Conv3-2-Conv3-3-Conv3-4]—[Conv4-1-Conv4-2-Conv4-3-Conv4-4-Conv4-5-Conv4-6]—[Conv5-1-Conv5-2-Conv5-3]，3个卷积网络在Conv5-3层的输出分别表示为y、y⁺和y^-；

相似性度量模块的输出维度为2，一维为x₁和x₁⁺的相似度，另一维为x₁和x₁^-的相似度。

3.根据权利要求1所述一种基于三元组网络的目标跟踪稳定性方法，其特征在于，所述步骤2具体过程为：

定义三元组目标确认网络的目标损失函数，如下公式(1)所示：

L((x,x⁺,x^-)；γ；S)＝max{0,γ-S(y,y⁺)+S(y,y^-)} (1)；

其中，S(y,y⁺)表示y和y⁺之间的余弦相似度，S(y,y^-)表示y和y^-之间的余弦相似度，γ为阈值参数，max()为求最大值函数。

4.根据权利要求1所述一种基于三元组网络的目标跟踪稳定性方法，其特征在于，所述步骤3具体过程为：

步骤3.1、制作训练样本集Mtrain和标签文件label；

步骤3.2、设置网络模型参数，将训练样本集Mtrain和标签文件label按批量送入三元组目标确认网络中进行训练，当目标函数L收敛或者达到设置的最大迭代次数时，结束网络训练，输出网络模型M_tri。

5.根据权利要求1所述一种基于三元组网络的目标跟踪稳定性方法，其特征在于，所述步骤4具体过程为：

步骤4.1、输入视频V，V＝{img_k}，其中img_k为第k帧图像，图像大小为width×height，其中width、height分别为img_k的宽度和高度，1≤k≤K，K为视频总帧数；

步骤4.2、在图像img_k中对目标进行手动框选，得到目标的矩形框R′_k，在img_k中提取矩形框R′_k对应的图像区域Obj_k，即为目标图像，Obj_k大小为Obj_w_k×Obj_h_k，其中Obj_w_k、Obj_h_k分别为Obj_k的宽和高；

步骤4.3、定义交并比阈值变量overlap，对R′_k进行尺度扩展得到扩展后的矩形框R_k，在img_k中提取R_k对应区域的HOG特征Fea^k，在Fea^k中通过循环移位构建训练样本x^k；

步骤4.4、把Fea^k作为输入，执行KCF算法中的训练模块，得到岭回归系数α^k；

步骤4.5、k＝k+1，读取img_k，执行KCF跟踪算法中的跟踪模块，得到跟踪候选目标Tra_k；

步骤4.6、采用FasterR-CNN通用目标检测器对第k帧图像img_k进行目标检测，得到检测的候选目标集合Dec_k，表示img_k中检测的第n个目标，0≤n≤N，N为检测的目标总个数；

步骤4.7、计算Tra_k与Dec_k中各个元素在空间位置上的交并比,记为Iou_k，求Iou_k中的最大值如果则输出对应的检测目标，即最佳检测目标否则，将Tra_k作为跟踪结果Obj_k，并在视频图像img_k中输出Obj_k对应的矩形框R′_k，转入步骤4.9；

步骤4.8、将Tra_k、和Obj_k-1作为输入，送入三元组目标确认网络模型M_tri，输出得到确认后的目标Obj_k，并在视频图像img_k中输出Obj_k对应的矩形框R′_k；

步骤4.9、如果k≥K，跟踪结束，否则转入步骤4.3。