[发明专利]一种基于对比学习方式的多目标跟踪方法

说明书

本发明公开了一种基于对比学习方式的多目标跟踪方法，包括如下步骤：通过主干结构提取输入图像的基础特征；通过颈结构将主干结构的底层结构特征和深层语义特征进行融合；头结构通过互相关模块将接收的共享特征解耦为两个独立的特征表示，检测模块和ReID模块并行接收来自互相关模块的相应特征。本发明将检测模块和ReID模块看作同层次的任务，避免了ReID模块独立训练和二次推理过程；互相关模块以独立学习检测模块和ReID模块各自的特征表示，缓解了两个模块的竞争和粒度问题；利用对比学习方式作为ReID模块的监督信号，无需统计分类的实例类别数目，提高模型学习效率。

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于对比学习方式的多目标跟踪方法。

背景技术

多目标跟踪技术涉及人工智能领域，尤其涉及计算机视觉和深度学习技术，被广泛应用于智能视频监控、智能安保、智慧园区、智慧城市以及自动驾驶等领域。

当前广泛研究和实现多目标跟踪的方法之一是基于检测的跟踪，该方法要求先应用检测得到输入图像中目标的定位框，然后根据目标的定位框进行下一步的跟踪。可以将基于检测的多目标跟踪方法描述为前后帧图像的目标定位框的匹配问题，其目标是将前一帧图像中物体的定位框和后一帧图像中物体的定位框一一对应起来，这种对应关系拓展到整个视频流中便形成了视频中多个物体的跟踪轨迹。

要将前后两帧图像中目标的定位框进行匹配的一般做法是：利用检测模块确定前后两帧图像中目标定位框信息；利用ReID模块对图像中目标的定位框所框定的区域提取特征；选择某种特征度量方式(如欧式距离、马氏距离和cosine距离等)对提取的特征计算相似性度量；根据相似性度量利用某种匹配算法(如贪婪算法、匈牙利算法等)对前后两帧图像中目标的定位框进行匹配；得到最优的匹配结果即是最后的跟踪结果。

目前已有的多目标跟踪方法存在如下几种问题：

(1)当前多目标跟踪方法的检测模块和ReID(person re-identification)模块多为先后关系。具体表现为ReID模块需要接收来自检测模块确定的目标定位框，其处理次数与目标定位框的数量成正比，增加计算复杂度。

(2)当前多目标跟踪方法将检测模块和ReID模块进行一体化(one-shot)处理，从同一个特征层次学习所需要的信息。虽然解决了计算复杂度的问题，但实际上两种模块会存在竞争关系，不利于网络学习。

(3)当前多目标跟踪方法以分类方式作为ReID模块的监督信号，其数据集的实例类别数目与最终跟踪性能强耦合。具体体现在，实例类别数目的多少直接关系到ReID模块重识别特征的质量，影响后续相似度匹配精度，进而影响最终跟踪性能。

如中国专利CN109522843B，公开日2021年7月2日，一种多目标跟踪方法及装置、设备和存储介质，其中，所述方法包括：确定待处理视频中待跟踪目标的行人检测框；根据所述行人检测框，确定所述待跟踪目标的行人姿态信息、行人再识别特征；根据所述行人姿态信息、行人再识别特征和所述行人检测框，确定所述待处理视频中相邻两帧视频对应的相似度矩阵；根据所述相似度矩阵对所述待跟踪目标进行跟踪，得到所述待跟踪目标的跟踪结果。其存在检测模块和ReID模块相互独立，导致计算复杂程度高、计算效率低的问题。

发明内容

本发明要解决的技术问题是：目前的多目标跟踪方法存在检测模块和ReID模块相互独立，导致计算复杂程度高、计算效率低的技术问题。提出了一种能够避免ReID模块独立训练和二次推理过程，降低计算复杂程度、提高计算效率的基于对比学习方式的多目标跟踪方法。

为实现上述目的，本发明所采取的技术方案为：一种基于对比学习方式的多目标跟踪方法，包括如下步骤：

通过主干结构提取输入图像的基础特征；

通过颈结构将主干结构的底层结构特征和深层语义特征进行融合，将获得的多尺度特征信息输出给头结构作为共享特征；