[发明专利]基于非配对数据的可见光红外目标跟踪训练方法及装置

说明书

本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置，方法包括获取不成对的可见光图像和热红外图像，并生成候选样本；利用候选样本对可见光红外跟踪器进行训练，可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，模态特定模块包括第一模态特定网络和第二模态特定网络，可见光图像作为第一模态特定网络和模态共享模块的输入，热红外图像作为第二模态特定网络和模态共享模块的输入，第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖，提升目标跟踪性能。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于非配对数据的可见光红外目标跟踪训练方法及装置。

背景技术

目标跟踪一直是计算机视觉领域中的一个重要课题，近年来，目标跟踪技术已经取得了很大的突破，并且广泛运用在智能交通、无人驾驶和机器人等领域。目标跟踪的任务就是在给定某视频序列初始帧的目标大小和位置的情况下，预测后续帧中该目标的大小与位置。

目标跟踪算法大多是基于单一可见光模态条件下，并且在这一模态条件下具有优越的跟踪性能，但是在复杂环境下或极端条件下，如雾霾天气、低光照，跟踪的鲁棒性仍有待提高。近年来越来越多的传感器技术被应用到目标跟踪领域，如热红外传感器、深度传感器。热红外传感器是通过捕捉目标的温度信息来成像，对于光照条件的敏感度低。同时可见光数据可以弥补热红外图像边缘模糊、细节信息少的缺点，可见光数据和热红外数据的互补性可以帮助算法实现稳健跟踪。

目前，大多数可见光红外跟踪算法的研究重点是多模态的优势互补，融合每个模态的信息去达到更鲁棒的跟踪结果。但可见光红外跟踪算法常用的是匹配的可见光数据和热红外数据，比如申请号为201510521038.8的发明专利申请公开的一种基于可见光和红外图像的全天候目标实时跟踪方法，需要先对可见光图像和红外图像进行配准再进行目标跟踪检测。热红外数据可以通过热红外传感器获取，但与之匹配的可见光热红外数据需要大量的手工挑选和手工标注，这给数据集的制作带来了一定的挑战，公开的标准的可见光热红外数据集的数量较少，不能充分的发挥热红外模态的优势。

发明内容

本发明所要解决的技术问题在于如何解决可见光红外目标跟踪性能训练对大规模配准数据的依赖的问题。

本发明通过以下技术手段实现解决上述技术问题的：

一方面，本发明实施例提出了一种基于非配对数据的可见光红外目标跟踪训练方法，所述方法包括以下步骤：

获取不成对的可见光图像和热红外图像，并基于所述可见光图像和所述热红外图像生成候选样本，所述候选样本包括正样本和负样本；

利用所述候选样本对可见光红外跟踪器进行训练；

其中，所述可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，所述模态特定模块包括第一模态特定网络和第二模态特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输入，所述热红外图像作为所述第二模态特定网络的输入和所述模态共享模块的输入，所述第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为所述模态自适应注意力模块的输入，所述第二模态特定网络的输出与所述模态共享模块的输出相加后得到的热红外模态特征作为所述模态自适应注意力模块的输入。

本发明设置第一模态特定网络和第二模态特定网络分别对可见光图像和热红外图像进行特征提取，设置模态共享模块来提取可见光数据和热红外数据的相似特征，进一步加强模态间的联系，设置模态自适应注意力模块，实现不成对可见光数据和热红外数据模态间的学习和增强，解放了不成对的可见光红外数据的力量，有效规避了训练所需要的数据量不足的问题，在有限的数据集上充分挖掘和利用双模态信息，实现非配对多模态数据之间的相互增强，训练出一个鲁棒的可见光红外跟踪器。