[发明专利]基于随机通道自适应注意力机制的多目标跟踪方法和系统

说明书

本发明属于计算机视觉领域，特别是视频多目标跟踪领域，具体涉及一种基于随机通道自适应注意力机制的多目标跟踪方法和系统。针对目标运动过程中，经常被障碍物部分或完全遮挡，遮挡前后行人位置存在较大位移导致复现后无法持续稳定跟踪的问题，主要包括四个模块：随机、挤压、激励和加权：首先在特征传递以及特征聚合时添加一个门控机制实现空间自适应注意力模块的随机启动，启动之后对传递进来的特征图做全局平均池化压缩处理，所得到的特征图拥有全局的感受野，最后再利用全连接层计算各个通道的权重，再对原始特征图做加权，从而可以加强图像中显著性特征的作用，增强模型的抗遮挡和长时跟踪能力，最终实现快速稳定跟踪视频目标的要求。

技术领域

本发明属于计算机视觉领域，特别是视频多目标跟踪领域，具体涉及一种基于随机通道自适应注意力机制的多目标跟踪方法和系统。

背景技术

随着深度学习技术在与视觉多目标跟踪相关任务中的应用且取得的巨大成功，当前基于深度学习的视觉多目标跟踪技术框架较多为两阶段模式，即基于目标检测结果进行数据关联实现多目标跟踪的DBT模式。另外从深度神经网络的结构来看，DBT中的子模块如特征提取等可以融合在目标检测网络中，基于DBT中子模块的融合实现联合检测跟踪，即JDT模式，用一个深度网络框架实现视觉多目标跟踪是近两年发展的新趋势。

DBT的一般流程主要由目标检测、特征提取以及数据关联三个主模块组成。近两年兴起的JDT类算法框架在减轻了DBT类框架复杂度的同时，也提高了多目标跟踪的精度。它的策略是在DBT的基础上对部分功能模块进行一定程度上的融合，降低分阶段处理带来的算法复杂性，同时增加功能模块之间的耦合度。

目前基于深度学习的DBT类算法通过在传统子模块中嵌入深度学习模块使得目标检测、特征提取、数据关联等模块对于目标跟踪增益巨大，但随之带来了算法速度的损失；深度学习神经网络是JDT类算法得以发展的关键，通过融合多模块联合学习，实现了在线端对端的多目标跟踪算法，其中，检测器性能对JDT类算法跟踪表现起着关键作用，目前多目标跟踪总体是从DBT类算法向JDT发展，分阶段实现算法的准确度和速度的均衡。然而，当前多目标跟踪还存在对多目标频繁遮挡、精度与速度的权衡等问题，具体来说可分为以下几点：

1)在目标运动过程中，经常被障碍物部分或完全遮挡，遮挡前后行人位置存在较大位移导致复现后无法持续稳定跟踪；

2)当跟踪算法部署到实际应用场景时，需要考虑算法的实时性需求，实现满足实时性目标检测与跟踪算法，也是一个重大挑战。

发明内容

本发明目的是提供一种基于随机通道自适应注意力机制的多目标跟踪方法和系统，建立能够快速准确实现视频监控中的多目标跟踪智能模型，以解决目标运动过程中，经常被障碍物部分或完全遮挡，遮挡前后行人位置存在较大位移导致复现后无法持续稳定跟踪的问题。

本发明采取的技术方案是：

一种基于随机通道自适应注意力机制的多目标跟踪方法，主要包括四个步骤：随机、挤压、激励和加权，其中：

随机是指通道注意力的随机启动，各个目标的特征在传递以及聚合时添加一个门控机制实现空间自适应注意力模块的随机启动，通过人为设置随机的比例，部分增强多个目标的特征通道；

挤压是指全局平均池化操作，在自适应注意力模块启动之后，要对传递进来的多个目标的特征图做全局平均池化处理，从而完成对特征图的压缩处理，这样得到的各个目标的特征图均拥有全局的感受野；

激励是指利用全连接层将各个目标的特征恢复到原来的维度，然后计算各个通道的权重；

加权是指通过计算出来的权重对原始各个目标的特征图不同通道的重要程度做加权，加强图像中显著性特征的作用；

在加权之后，模型输出各个目标更加准确的中心点密集热图，接着预测各个目标中心点在相邻视频帧之间的偏移，最后利用贪婪的关联算法即可实现多目标跟踪。