[发明专利]一种基于孪生网络进行特征融合的目标跟踪方法

说明书

一种基于孪生网络进行特征融合的目标跟踪方法，包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；孪生网络模型的训练过程如下：步骤1.1：模型训练数据集的选取；步骤1.2：训练数据集的预处理；步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练；步骤1.4：模型获取；模型在目标跟踪场景中的应用过程如下：步骤2.1：数据输入；步骤2.2：模板更新；步骤2.3：目标位置评估；步骤2.4：利用算法得到的评估位置，提取后续的图像对，将提取到的图像对作为模型的输入，输入到模型中，重复上述的步骤2.1‑2.4的过程，直到图像序列中所有图像都处理完为止。本发明提升鲁棒性，提升跟踪效果。

技术领域

本专利涉及机器学习、图像处理领域，更具体的说，涉及目标跟踪、卷积神经网络、特征融合领域。

背景技术

复杂背景下的目标跟踪技术是计算机视觉领域的核心研究课题之一，其涉及特征提取、目标识别、机器学习等多方面技术。先验知识不足是目标跟踪技术面临的最大挑战。在进行目标跟踪任务时，仅提供目标在视频第一帧中的位置信息，同时在目标跟踪过程中，会遇到目标被遮挡、光照变化、目标形变、旋转、运动模糊等一系列问题，这都极大增加了目标跟踪的难度。

从1955年目标跟踪概念被提出至今，目标跟踪方法层出不穷，但是很多方法在复杂背景下的目标跟踪效果仍然不够理想。传统方法一般是利用手工设计的特征进行目标建模从而完成目标跟踪的任务，不同特征从不同角度对目标进行描述，同时不同特征又各有其优缺点，例如颜色特征对目标形变具有较高的鲁棒性，而对颜色、光照变化较为敏感；Hog特征对颜色、光照变化不敏感，却对目标形变较为敏感。近年来，随着硬件计算性能的提升，深度学习方法得到广泛应用，一些研究者开始尝试结合深度神经网络设计目标跟踪算法，如 Bertinetto等人基于全卷积网络提出的端到端的方法SiameseFC以及Held等人基于深度回归网络提出的GOTURN跟踪器等。这些方法利用CNN特征对目标进行建模，但该特征受训练样本约束较大，若训练样本不够充分，将会影响对目标的建模效果，最终导致跟踪过程中目标丢失。

为了将目标跟踪应用于复杂场景中，我们需要设计出一种鲁棒性更好准确率更高的目标跟踪方法。

发明内容

为了提升目标跟踪方法的鲁棒性，本发明提供一种基于孪生网络进行特征融合的目标跟踪方法，基于深度学习的特征融合策略，该方法通过对训练样本进行特征提取，并训练相关权重系数将不同的特征建模得到的表观模型进行融合，使得多个特征结合更为紧密，最终达到提升跟踪效果的目的。

本发明解决其技术问题所采用的技术方案是：

一种基于孪生网络进行特征融合的目标跟踪方法，包括孪生网络模型的训练过程和模型在目标跟踪场景中的应用；

所述孪生网络模型的训练过程如下：

步骤1.1：模型训练数据集的选取：根据目标跟踪的应用需求，我们选取包含目标的完整视频序列作为训练集；

步骤1.2：训练数据集的预处理：因为在目标跟踪过程中，输入模型的是一张只包含目标的图像块和一张包含目标以及目标周围背景的图像块，所以在模型训练前，需要对训练集进行预处理，生成符合网络输入要求的训练集；

步骤1.3：模型的训练：输入步骤1.2预处理的训练集进行训练，步骤如下：，

步骤1.3.1：为了提升训练模型的鲁棒性，采用随机读取的方式，每次读取多对图像块输入网络进行训练；

步骤1.3.2：利用孪生网络结构对一组图像块(x′,z′)分别提取CNN和HOG 特征，将这些特征记为x′_HOG,x′_CNN,z′_HOG,z′_CNN；