[发明专利]一种基于在线模板预测的红外行人跟踪方法

说明书

本发明属于红外目标跟踪领域，具体涉及跟踪精度高的一种基于在线模板预测的红外行人跟踪方法。本方法包括如下步骤：步骤1：使用彩色图像构造红外训练数据集；步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。本发明的有益效果在于：1.生成更接近真实目标的预测模板；2.跟踪精度高。

技术领域

本发明属于红外目标跟踪领域，具体涉及跟踪精度高的一种基于在线模板预测的红外行人跟踪方法。

背景技术

红外目标跟踪是一种从红外图像序列或视频流中确定感兴趣的目标区域，并在连续视频帧中定位该目标的技术。红外目标跟踪技术可在低光照条件等恶劣环境下工作，因此广泛应用于夜间救援、战场环境侦察和视频监控等领域。但是，由于成像分辨率低、成像背景环境的复杂性以及行人运动的随意性带来的目标的尺度变化等不利因素，使得红外目标跟踪仍然面临许多挑战。

近年来，基于孪生网络(Siamese Net)的跟踪技术以跟踪速度快、跟踪精度高而迅速成为本领域的主流跟踪方法。目前，基于孪生网络的跟踪算法主要包括两大类：基于全卷积孪生网络的目标跟踪算法(Fully-Convolutional Siamese Networks for ObjectTracking，Siam_FC)和基于孪生候选区域网络的高性能视觉跟踪算法(High PerformanceVisual Tracking with Siamese Region Proposal Network，SiamRPN)。但是，目前的这些跟踪算法仅使用第一帧模板作为孪生网络的跟踪模板，在跟踪过程中不能实时更新模板，随着序列长度的增加，跟踪误差的累积容易导致跟踪对象丢失或漂移，从而影响了跟踪性能。

本发明基于SiamRPN跟踪框架，设计一种具有模板预测的红外行人跟踪方法。通过综合利用目标的时间和空间信息，该方法能够提高跟踪精度、改善跟踪性能。

发明内容

本发明的目的在于提供一种基于在线模板预测的红外行人跟踪方法。

本发明的目的是这样实现的：

一种基于在线模板预测的红外行人跟踪方法，包括如下步骤：

步骤1：使用彩色图像构造红外训练数据集；

步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；

步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；

步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。

对于步骤2得到的各个模板序列，根据下式构造一个具有时间和空间信息的组合模板序列；

其中，表示组合模板序列的第n帧，它是一幅三通道图像帧，其三个通道分别对应两个第一帧模板(I₁)和一个第n帧模板(I_n)；表示第n帧组合模板的第c个通道在位置(x,y)处的取值，I₁(x,y,1)和I_n(x,y,1)分别表示模板训练数据集中任意一个模板序列的第1帧和第n帧模板在位置(x,y)处的取值，且x＝1,2,…,127,y＝1,2,…,127,c＝1,2,3。

利用步骤3获得的组合模板训练数据集，使用Adam优化器，以及最小均方误差(MSE)损失函数，对其构建的模板预测网络进行训练，并保存训练好的网络。