[发明专利]一种基于困难样本感知的RGBT目标跟踪方法

说明书

本发明公开一种基于困难样本感知的RGBT目标跟踪方法，包括对行可见光图片和热红外图片进行配准标注分成训练集和测试集，然后对构建对应模型对预处理后的图片进行训练和测试；模型中包括实时跟踪网络RT‑MDNet、VGG‑M特征提取模块、前景增强模块、特征嵌入模块和二分类模块，本发明在低光照光照变化强烈等极端条件下跟踪上目标，通过前景增强模块来增强前景信息抑制背景信息，并通过困难样本感知损失函数，挖掘更多困难样本，辅助分类器目标背景的分类。

技术领域

本发明属于计算机视觉目标跟踪技术，具体涉及一种基于困难样本感知的RGBT目标跟踪方法。

背景技术

视频目标跟踪作为计算机视觉中的一个重要分支，在视频监控、无人机巡航、智能监控等应用中起到了关键的作用，同时也能帮助解决其他计算机视觉任务。目标跟踪是给出第一帧中的目标，在后续帧中利用一个合适大小的矩形框实现目标物体的跟踪，其中包含每一帧中物体的尺度信息和位置信息。

随着深度学习的快速发展，视频目标跟踪的性能问题得到了很大的提升，但在跟踪问题中仍然有很多的问题需要进一步的解决。视频目标跟踪是基于视频帧来处理的，所以在视频帧跟踪的过程中，背景和前景都会发生变化，因此主要的挑战包括：遮挡、形变、背景杂乱、尺度变化、光照等，这些挑战无疑增加了视频目标跟踪的难度。当前一些跟踪器有针对性地解决相关的挑战以此来提高跟踪的效率。同时也出现了利用其他模态的图片信息来弥补单个模态的缺陷，减缓甚至消除单个模态下某些挑战的影响。因此，越来越多的研究关注于利用多模态的互补信息来提高跟踪性能，热红外模态尤其适合于低光照或者光照变化强烈的条件下。

近年来，研究者们提出众多深度度量学习方法，并在图像检索、行人车辆的重识别以及目标跟踪上取得很好的效果。深度度量学习方法通过采用卷积神经网络作为其嵌入函数，极大的提高了嵌入表达的性能。具体来说，这些方法训练神经网络将图像投影到一个嵌入空间上，如果两个样本示例在语义上相似，那么样本间的欧式距离或马氏距离就会比较小，否则距离就会比较大。因此，深度度量学习的加入，可以辅助分类器对样本进行更好的分类，可以应用于许多分类任务中。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于困难样本感知的RGBT目标跟踪方法，通过挖掘更多有价值的困难样本加入训练，提高RGBT目标跟踪模型的判别性和鲁棒性。

技术方案：本发明的一种基于困难样本感知的RGBT目标跟踪方法，包括以下步骤：

步骤S1、构建数据库，获得数据集；

采集多模态相机拍摄的图片，并对图片进行人工配准和标注，按要求筛选出适合训练和测试的图片，并标注上相应挑战，形成对应训练集和测试集；

步骤S2、分别对训练集RGBT234和测试集GTOT中的图片进行预处理，即将每一张图片所在的路径位置和图片内目标所处的像素位置均分别加入到各自的XML文件内，以方便后续对图片的读入；

步骤S3、通过MLX文件读取对应图片信息，所述图片信息包括图片的路径、图片内目标的坐标等，然后对训练集中的图片进行数据增强的预处理(例如旋转、缩放、平移、翻转、裁剪等)，进而扩充训练集中的图片数据量，丰富图片的数据量；

步骤S4、构建优化目标跟踪模型，该模型中包括实时跟踪网络RT-MDNet、VGG-M特征提取模块、前景增强模块、特征嵌入模块和二分类模块；具体方法为：

S4.1、将预处理后的可见光图片和热红外图片同时输入到网络中(基础网是RT-MDNet)；

S4.2、加载两个结构相同且参数不同的VGG-M特征提取模块分别对两个数据源(即是指训练集中的可见光图片和热红外图片)的数据进行特征提取；