[发明专利]基于模态竞争协同网络的可见光红外目标跟踪方法及装置

说明书

本发明公开一种基于模态竞争协同网络的可见光红外目标跟踪方法及装置，方法包括：以所要跟踪当前帧的上一帧中目标预测位置为中心，生成第一候选样本集合；将第一候选样本集合输入至训练好的跟踪模型，得到当前帧的目标跟踪结果；跟踪模型包括特征提取网络和目标分类器；特征提取网络包括第一提取网络、第二提取网络和权重分配网络，第一提取网络和第二提取网络均包括VGG‑M的前三层卷积层，且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组。通过引入卷积核组和多权重分配网络来生成多核动态协同的卷积核，利用卷积核组中包含的若干个卷积核，可以提取更多样的特征，达到良好的多模态视频跟踪效果。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于模态竞争协同网络的可见光红外目标跟踪方法及装置。

背景技术

目标跟踪是计算机视觉一个非常重要的研究领域，并在最近几年受到了大量的关注，目标跟踪在工业界有着广泛的应用领域如监控，自动驾驶，工业机器人等。

目前，基于检测跟踪框架的目标跟踪，实质上是基于一个性能良好的分类器对于目标和背景的一个二分类的问题。先在第一帧给定的目标位置上，通过设定一个阈值来确认目标和背景的样本，以此来初始化目标跟踪的模型，再进行后续帧中目标的跟踪。同时会在第一帧对目标的尺寸进行不同的缩放从而得到大量的目标样本集以此来训练尺寸回归模型。在后续帧中，对上一帧所预测的目标位置附近进行高斯分布采样，并使用分类器来区分目标样本和背景样本，并选择其中最高得分的样本来作为下一帧目标的预测位置。在获取到目标的粗略方位后，使用第一帧训练得到的尺寸回归模型来回归预测出目标的长和宽，从而得到更为精细的结果。

尽管目前单模态(可见光)的目标跟踪模型的性能在不断提高，但是在一些特定挑战下，如光照变化、快速运动、遮挡等情况下，单模态的目标跟踪模型往往性能不佳。为了获取环境鲁棒的跟踪模型，热红外模态数据由于其反映的是场景中表明温度的分布情况，从而对光照变化不敏感这一特性被引入目标跟踪领域。但热红外模态数据由于反映的是场景的温度信息，从而缺失了大量的细节信息，并且分辨率较低，在某些场景下往往不能正确的分辨相似的目标。

因此，利用可见光模态和热红外模态数据互补的特点，从提取更为鲁棒的特征以及更有效的特征融合角度出发，通过提取模态自适应的特征来实现不同场景下更为鲁棒的RGB-T目标跟踪。但是如何有效的提取两个模态自适应的特征是目前需要解决的一个问题。现有的RGB-T目标跟踪模型主要是采用简单的三层卷积网络来提取目标的特征，其原因在于目标跟踪中给定的目标往往比较小，因此在网络设计上特征提取网络的深度较浅。这样的设计使得特征提取网络提取特征的能力相比于如ResNet-Series而言较弱，从而成为提高目标跟踪模型性能的瓶颈。并且现有的方法使用参数不变的卷积核来提取目标的特征，这样的卷积核无法有效的面对环境的变化，在环境糟糕时往往不能提取出有价值的特征。

比如申请号为202110359997.X的发明专利申请公开了一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，通过对可见光视频和对应的热红外视频进行配准和标注，按照要求将其分成训练集和测试集；利用VGG M网络来提取不同模态的模态特定特征，利用共享特征提取模块来提取两个模态之间的模态共享特征，同时在共享特征提取模块中使用多尺度特征融合的策略来增强特征以提高其鲁棒性。可在光照变化强烈、夜晚等极端条件下跟踪上目标，通过交叉熵损失函数使训练的模型更加关注于难以分类的样本，提高模型的鲁棒性，其实质是通过多尺度和特征融合实现目标跟踪。

综上所述，相关技术存在如下问题：

(1)在可见光红外视觉目标跟踪中，由于跟踪任务中目标的尺寸比较小，主流方法采用的特征提取网络考虑到感受野的问题往往都比较浅，因此在特征提取能力上相比于顶尖的模型相对较弱，从而限制了目标跟踪模型性能的提高。