[发明专利]无监督视觉目标跟踪方法及系统

说明书

一种无监督视觉目标跟踪方法，通过组间跳跃间隔和组内跳跃间隔的方式进行数据采样，将得到的每一个视频帧以及视频帧集合作为孪生网络架构模型的训练样本进行包括逐帧的前向跟踪过程以及逐帧的后向跟踪过程的训练，再将用于测试的跟踪视频序列输入训练后的视觉跟踪模型得到最终预测的跟踪框，从而完成该帧中目标的跟踪。本发明具有很好的无监督训练能力，能学习帧间丰富的运动信息，提高训练效率和模型鲁棒性，并通过逐帧的前后向跟踪训练方式进行无监督训练。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种无监督视觉目标跟踪方法及系统，可以集成到类似的视觉目标跟踪孪生网络框架中进行高效的训练，从而提升模型的性能，比如SiamFC。

背景技术

现有的视觉目标跟踪方法一般均基于有监督的方法训练实现，由于有监督训练需要大量标注好的训练数据且有标注的数据集的跟踪场景受到一定的限制，从而导致训练出的模型缺乏一定的泛化能力。无监督视觉目标跟踪方法相应解决这些问题，着重于寻找一个合适的辅助任务以及自监督信号，并直接使用原始数据进行训练，因此采样训练数据以及训练方式将实质性影响模型的无监督训练，进而决定无监督视觉目标跟踪方法的效果。

现有的无监督相关滤波目标跟踪方法往往在无监督相关滤波算法的训练中，同时引入对图像块位置索引的预测任务，以增加深度神经网络对物体细节特征的提取能力，并通过对不同层的特征进行融合使得算法兼顾语义信息和位置信息，从而解决物体细节特征的提取能力不够，且难以很好地兼顾语义信息和位置信息的问题。

但此类技术依旧存在训练数据冗余、多任务训练过程繁琐的问题。

发明内容

本发明针对现有技术无监督训练数据冗余，训练效率低下且模型鲁棒性无法满足需要的不足，提出一种无监督视觉目标跟踪方法，通过跳帧采样模块减少训练数据的冗余，具有很好的无监督训练能力，能学习帧间丰富的运动信息，提高训练效率和模型鲁棒性，并通过逐帧的前后向跟踪训练方式进行无监督训练。

本发明是通过以下技术方案实现的：

本发明涉及一种无监督视觉目标跟踪方法，通过组间跳跃间隔和组内跳跃间隔的方式进行数据采样，将得到的每一个视频帧以及视频帧集合作为孪生网络架构模型的训练样本进行包括逐帧的前向跟踪过程以及逐帧的后向跟踪过程的训练，将用于测试的跟踪视频序列输入训练后的孪生网络架构模型，得到最终预测的跟踪框，从而完成该帧中目标的跟踪。

本发明涉及一种实现上述方法的系统，包括：跳帧采样模块、特征提取模块、相关滤波器模块，其中：跳帧采样模块与特征提取模块相连并传输训练数据信息；特征提取模块与相关滤波器模块相连并传输提取到的特征信息；相关滤波器模块的输出即为跟踪响应结果。

技术效果

本发明整体所解决了现有技术无监督训练数据的冗余较高且训练效率较低的问题，使用更加高效的逐帧的前后向跟踪训练方式提高模型的鲁棒性，通过本发明跳帧采样能够减少五倍训练数据量，提高了训练效率的同时提升跟踪性能。

附图说明

图1为跳帧采样模块实现图；

图2为逐帧的前后向跟踪训练方式流程图。

具体实施方式

本实施例涉及一种无监督视觉目标跟踪方法，包括以下步骤：

步骤1)训练阶段，执行数据采样，数据预处理和模型训练，具体包括：

步骤1.1)数据采样：对于单一的训练迭代，使用跳帧采样模块以组间跳跃间隔和组内跳跃间隔的方式选择一组视频帧作为输入。

所述的组内跳跃间隔用于降低训练数据相关性，并保持有价值的时间运动信息。

所述的组间跳跃间隔用于保证充分利用训练数据，减少重复帧和缺失帧。