[发明专利]基于模态竞争协同网络的可见光红外目标跟踪方法及装置

权利要求书

1.一种基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述方法包括：

以所要跟踪当前帧的上一帧中目标预测位置为中心，生成第一候选样本集合，所述第一候选样本集合中包括可见光样本和热红外样本；

将所述第一候选样本集合输入至训练好的跟踪模型，得到所述当前帧的目标跟踪结果；

其中，所述跟踪模型包括特征提取网络和目标分类器，所述特征提取网络的输出与所述目标分类器连接；所述特征提取网络包括第一提取网络、第二提取网络和权重分配网络，所述可见光样本和所述热红外样本分别作为所述第一提取网络和所述第二提取网络的输入，所述第一提取网络和所述第二提取网络均包括VGG-M的前三层卷积层，且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组；所述第一候选样本集合作为所述权重分配网络的输入，所述权重分配网络输出的第一权重组经乘积操作与所述第一提取网络中各所述卷积核组连接后作为所述第一提取网络的输入，所述权重分配网络输出的第二权重组经乘积操作与所述第二提取网络中各所述卷积核组连接后作为所述第二提取网络的输入。

2.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述第一提取网络和所述第二提取网络中各所述卷积核组后连接有修正线性单元和局部响应归一化层。

3.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述权重分配网络包括全局平均池化层、模态共享全连接层以及模态特定全连接层，所述第一候选样本集合作为所述全局平均池化层的输入，所述全局平均池化层的输出经所述模态共享全连接层以与所述模态特定全连接层的输入连接，所述模态特定全连接层用于输出所述第一权重组和所述第二权重组。

4.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述目标分类器包括两个域共享全连接层和一个域特定全连接层，两个所述域共享全连接层连接后与所述域特定全连接层的输入连接，所述域特定全连接层输出作为所述当前帧的目标跟踪结果；

所述域共享全连接层包括依次连接的全连接层、修正线性单元和神经元随机激活函数，所述域特定全连接层包括依次连接的全连接层、神经元随机激活函数和Softmax层。

5.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，在所述将所述第一候选样本集合输入至训练好的跟踪模型，得到所述当前帧的目标跟踪结果之后，还包括：

将所述当前帧的目标跟踪结果作为粗略结果，并基于所述粗略结果判断跟踪是否成功；

若是，则所述粗略结果输入至目标尺寸回归器，并将所述目标尺寸回归器的输出作为所述当前帧的精确跟踪结果，并使用距离所述当前帧最近的m帧中的目标特征来更新个所述目标分类器；

若否，则使用距离所述当前帧最近的n帧中的目标特征来更新所述目标分类器的参数，然后跟踪下一帧中的目标，mn。

6.如权利要求5所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述在所述以所要跟踪当前帧的上一帧中目标预测位置为中心，生成第一候选样本集合之前，还包括：

获取所跟踪的可见光-热红外视频的第一帧，通过所述第一帧中目标的真值框生成第二候选样本集合和目标样本集合；

分别利用所述第二候选样本集合和所述目标样本集合训练所述跟踪模型和所述目标尺寸回归器。

7.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法，其特征在于，所述方法还包括：

将所述第一提取网络和所述第二提取网络的输出的特征从通道维度上进行拼接并拉平，输入到所述目标分类器中，得到所述当前帧的目标跟踪结果。