[发明专利]基于多挑战感知学习模型的训练、跟踪方法

说明书

本发明涉及基于多挑战感知学习模型的训练及实时跟踪方法，依次包括模型训练过程、通过预先训练的模型进行的跟踪过程两个部分，其中，S11、构建网络模型S12、使用标定好目标的VOT数据集来训练整个所述的网络模型；S21、输入当前跟踪的视频帧，在前一帧预测的目标位置周围用高斯采样获取当前帧的候选样本；S22、获取候选样本的的特征图；S23、将所述特征图输入到分类器模块中，预测目标位置；S24、判断当前帧是否跟踪成功；本发明能够有效的增加特征表达的丰富性，提高了跟踪的鲁棒性，并达到了实时的跟踪性能。

技术领域

本发明涉及计算机视觉领域，尤其涉及基于多挑战感知学习模型的训练、跟踪方法。

背景技术

视觉跟踪是计算机视觉领域中一个基础的研究问题，其目的是在给定视频序列第一帧中跟踪目标初始状态(如大小和位置)的情况下，估计后续视频帧中目标的状态。目前，视觉跟踪技术已广泛应用于智能视频监控、无人驾驶、增强现实等领域，对社会安全和文化娱乐等领域的发展有着重要的研究意义。

随着计算机硬件性能的不断提高和大规模视觉数据集(如ImageNet，大规模图像分类数据集)的引入，基于深度学习特别是深层卷积神经网络的方法在多个计算机视觉任务上(如图片分类、目标检测)都取得了显著的成功。目前基于深度学习检测方法的视觉跟踪模型，实质上是学习跟踪目标的深度特征表示，再送入一个二分类器中对目标和背景进行分类。但是这种方法在处理视觉跟踪任务时仍具有一定局限性，其中一个关键的原因是深层卷积神经网络算法的性能依赖于大规模标注的训练数据集的离线学习。然而，由于视觉跟踪任务的目标是任意的，很难得到足够的训练数据来学习有效的基于目标实例的深度特征表示。

为了解决训练数据不充分的问题，现有的方法在最后一个卷积层后添加了一个Inception-like模块，并使用该模块和VOT(Visual Object Tracking，视觉目标跟踪)数据集中标注的挑战属性来学习基于挑战感知的具有高级语义信息的深度特征表示；如申请号为“CN201710863151.3”的专利，利用了训练模型Inception模块进行处理。

然而，我们观察到，一些挑战(如光照变化)在浅层有着很好的特征表示，而一些挑战(如尺度变化)的特征在中层可以表现的很好。因此，现有方法采用的使用Inception-like结构提取不同属性的具有高级语义信息的深度特征表示，不能很好的提取多层次的挑战信息，从而使得挑战属性的特征表达不够丰富。

发明内容

本发明所要解决的技术问题在于提供基于多挑战感知学习模型的训练、跟踪方法，以解决多层次的挑战信息提取不佳的问题。

本发明通过以下技术手段实现解决上述技术问题的：

基于多挑战感知学习模型的训练方法，包括以下步骤；

S11、构建网络模型；

所述网络模型包括依次串联的第一级挑战模块、所述第二级挑战模块、第三级挑战模块、Adaptive RoI Align(自适应感兴趣区域对准操作)层、分类器模块；其中，

所述第一级挑战模块包括第一卷积层模块、第一多挑战感知器模块、第一concatenate函数层、第一聚合层模块，将候选样本分别输入至第一卷积层模块、第一多挑战感知器模块中，第一卷积层模块用来提取通用的目标特征，第一多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第一多挑战感知器模块的输出结果通过第一concatenate(拼接)函数层进行通道维度的拼接，并输送至第一聚合层模块，第一聚合层模块将得到的多挑战特征进行聚合处理解决跟踪过程中挑战不可知的问题，第一聚合层模块处理的结果与第一卷积层模块提取的目标特征进行相加融合，输送至所述第二级挑战模块处；