[发明专利]一种基于孪生网络进行特征融合的目标跟踪方法

摘要

一种基于孪生网络进行特征融合的目标跟踪方法，包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取；步骤1.2：训练数据集的预处理；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练；步骤1.4：模型获取；模型在目标跟踪场景中的应用过程如下：步骤2.1：数据输入；步骤2.2：模板更新；步骤2.3：目标位置评估；步骤2.4：利用算法得到的评估位置，提取后续的图像对，将提取到的图像对作为模型的输入，输入到模型中，重复上述的步骤2.1‑2.4的过程，直到图像序列中所有图像都处理完为止。本发明提升鲁棒性，提升跟踪效果。

主权项

1.一种基于孪生网络进行特征融合的目标跟踪方法，其特征在于，所述方法包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；所述孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取：根据目标跟踪的应用需求，我们选取包含目标的完整视频序列作为训练集；步骤1.2：训练数据集的预处理：因为在目标跟踪过程中，输入模型的是一张只包含目标的图像块和一张包含目标以及目标周围背景的图像块，所以在模型训练前，需要对训练集进行预处理，生成符合网络输入要求的训练集；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练，步骤如下：，步骤1.3.1：为了提升训练模型的鲁棒性，采用随机读取的方式，每次读取多对图像块输入网络进行训练；步骤1.3.2：利用孪生网络结构对一组图像块(x′,z′)分别提取CNN和HOG特征，将这些特征记为x′HOG,x′CNN,z′HOG,z′CNN；步骤1.3.3：利用步骤1.3.2所提取到的特征x′HOG和x′CNN，生成两个用于匹配的特征模板，分别记为TempCNN和TempHOG，利用公式(1)求解模板，F(T)＝‖Tx‑y‖2+λ‖T‖2   (1)式中T表示模板Temp，y表示期望响应，表示相关滤波操作，为了防止过拟合，在式中加入了正则项λ‖T‖2；求解得到步骤1.3.4：根据TempCNN和TempHOG以及z′HOG和z′CNN，分别生成两个特征响应图，记为RespCNN和ResPHOG，利用如下公式求得特征响应图，RespCNN＝TempCNNz′CNN   (2)RespHOG＝TempHOGz′HOG   (3)步骤1.3.5：利用网络训练的相关权重融合响应图，将融合后的响应图记为Respmerge，融合操作用式(4)表示，Respmerge＝M(RespCNN,RespHOG)   (4)式中M为融合函数，其中的融合权重均由网络训练得到；步骤1.3.6：在网络的最后设置逻辑斯谛回归层，优化最终的训练结果，根据坐标点的数据是否位于ground truth区域设置空间上的标签，1表示位于区域内，‑1表示不在区域内；训练模型使得损失函数取得最小值，记损失函数为l,argmin∑il(M(RespCNN,RespHOG),Li)   (6)步骤1.4：模型获取：设置迭代次数,在模型迭代结束之后，取出最终迭代生成的模型作为目标跟踪时使用的跟踪模型；模型在目标跟踪场景中的应用过程如下：步骤2.1：数据输入：在目标跟踪过程中，模型的使用采用的是前向反馈的模式；跟踪开始，需要指定第一帧中跟踪目标的位置信息，在后续跟踪过程中，则以上一帧中通过算法评估出的目标区域为中心，取4倍的大小作为当前帧的目标搜索区域，进行跟踪；步骤2.2：模板更新：每输入一组图像对进行跟踪，都会生成新的模板，采取将历史模板和新模板结合的方法，模板融合的方法如公式(7)和(8)所示，TempCNN,new＝(1‑ηc)TempCNN,old+ηcTempCNN,curr   (7)TempHOG,new＝(1‑ηh)TempHOG,old+ηnTempHOG,curr   (8)式中ηc和ηh分别表示CNN和HOG特征模板的学习率，TempCNN,old和TempHOG,old表示旧的模板，TempCNN,curr和TempHOG,curr表示以当前帧作为输入生成的新模板，将新的模板代入式(2)和(3)中，得到式(9)和(10)：RespCNN＝TempCNN,newz′CNN   (9)RespHOG＝TempHOG,newz′HOG   (10)步骤2.3：目标位置评估：根据响应图的值来确定目标的中心点的位置信息；步骤2.4：利用算法得到的评估位置，按照第一部分中步骤2.2所述的图像对提取方法，提取后续的图像对，将提取到的图像对作为模型的输入，输入到模型中，重复上述的步骤2.1‑2.4的过程，直到图像序列中所有图像都处理完为止。