[发明专利]一种基于在线模板预测的红外行人跟踪方法

权利要求书

1.一种基于在线模板预测的红外行人跟踪方法，其特征在于，包括如下步骤：

步骤1：使用彩色图像构造红外训练数据集；

步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；

步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；

(3.1)获得组合模板训练数据集；

对于步骤2得到的各个模板序列，根据下式构造一个具有时间和空间信息的组合模板序列；

其中，表示组合模板序列的第n帧，它是一幅三通道图像帧，其三个通道分别对应两个第一帧模板I₁和一个第n帧模板I_n；表示第n帧组合模板的第c个通道在位置(x,y)处的取值，I₁(x,y,1)和I_n(x,y,1)分别表示模板训练数据集中任意一个模板序列的第1帧和第n帧模板在位置(x,y)处的取值，且x＝1,2,…,127；y＝1,2,…,127；c＝1,2,3；

(3.2)基于残差卷积结构，设计模板预测网络；

(3.3)训练模板预测网络；

利用步骤(3.1)获得的组合模板训练数据集，使用Adam优化器，以及最小均方误差损失函数，对步骤(3.2)构建的模板预测网络进行训练，并保存训练好的网络；

步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪；

当前帧为第n+1帧，将第一帧和第n帧目标模板按照基于残差卷积结构的模板预测网络图构成具有三个通道的组合模板，并将这个组合模板输入训练好的模板预测网络，得到第n+1帧的预测模板将作为SiameseRPN网络的第n+1帧模板，利用SiameseRPN完成跟踪。