[发明专利]一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统

说明书

一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统，属于计算机视觉技术领域，解决如何为基于鲁棒实例表示的RGBT跟踪找到最佳的融合网络结构，从而进一步提高跟踪性能的问题，本发明的技术方案在离线搜索阶段，为了提取对光照变化、运动模糊和尺度变化等各种挑战具有鲁棒性的共享特征表示，引入了多域学习框架来离线搜索通用融合空间中的融合网络结构。在线跟踪阶段，从实例感知的融合空间中，在线搜索每个视频序列的融合结构以应对特定于实例的挑战；这种两阶段搜索算法可以动态更新视频融合策略，从而为基于鲁棒实例表示的RGBT跟踪找到合适的融合网络结构，进一步提高跟踪性能。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域中的一个热点问题。目标跟踪也是无人驾驶，智能交通和智能监控的关键技术之一。目标跟踪是在给定初始帧的包围盒的情况下，估计目标在后续帧中的位置。目前的跟踪算法大多基于可见光单一模态条件，在一些极端条件下会受到较大的影响，比如恶劣天气和光照强烈变化等，单一模态跟踪算法往往表现的不尽人意。可见光和热红外的模态融合跟踪被称为RGBT(Red Green Blue Thermal)跟踪，由于可见光信息和热红外信息是相互补充的，已经被证明是可以提高跟踪性能的有效方法。尽管RGBT跟踪已经取得了很大的进展，但由于复杂场景和环境下信息融合的困难，RGBT跟踪仍然是一项具有挑战性的任务。

由于RGBT跟踪具有巨大的潜在价值和应用前景，从传统的基于稀疏表示的方法到深度学习方法，RGBT领域涌现出了许多卓有成效的研究成果。虽然这些RGBT跟踪器已经取得了不错的进展，但仍然存在一些悬而未决的问题。首先，这些手动设计的RGBT跟踪器需要大量重复实验、专家经验和科学直觉。其次，这些融合策略忽视了跨层融合的潜在好处。最后，由于结构固定，这些跟踪器通常难以应对跟踪过程中的各种挑战。

现有方式存在着如下缺点：1)手工设计的融合网络需要大量重复的实验、专家经验和科学直觉，不同卷积层的融合具有不同的效果，找到一个最优的融合结构需要耗费大量的人力物力；2)由于手工设计的模型结构是固定的，因此难以应对跟踪中出现的各种挑战。

公开号为CN110349185A、公开日期为2019年10月18日的中国发明专利申请《一种RGBT目标跟踪模型的训练方法及装置》具体公开了：1)构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型，稠密特征聚合模块包括提取可见光图像特征的第一卷积层序列；以及提取热红外图像特征的第二卷积层序列，第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层；除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层，第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中；分类模块包括依次串联的若干层全连接层；2)使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练跟踪模型，得到目标跟踪模型。但是文献并未解决上述问题。

发明内容

本发明所要解决的技术问题在于如何为基于鲁棒实例表示的RGBT跟踪找到最佳的融合网络结构，从而进一步提高跟踪性能的问题。

本发明是通过以下技术方案解决上述技术问题的：

一种基于两阶段融合结构搜索的RGBT视觉跟踪方法，包括以下步骤：

S1、离线搜索阶段，设计一个通用搜索空间，同时输入一对配准的多模态图像，通过使用多域学习的训练方式以及基于预测器的渐进式搜索方法，离线搜索通用的融合网络结构，使用搜索到的通用的融合网络结构提取图像特征；

S2、在线跟踪阶段，将所述的通用的融合网络结构进行固定，在第一层全连接层处设计一个实例感知搜索空间，根据每个视频的第一帧来选择全连接层的融合网络结构，在后续帧的跟踪中继续使用这一融合网络结构；