[发明专利]一种基于对比学习方式的多目标跟踪方法

权利要求书

1.一种基于对比学习方式的多目标跟踪方法，其特征在于，包括如下步骤：

通过主干结构(7)提取输入图像(1)的基础特征；

通过颈结构(8)将主干结构(7)的底层结构特征和深层语义特征进行融合，将获得的多尺度特征信息输出给头结构(9)作为共享特征(2)；

头结构(9)通过互相关模块(3)将接收的共享特征(2)解耦为两个独立的特征表示(4)，检测模块(5)和ReID模块(6)并行接收来自互相关模块(3)的相应特征，通过检测模块(5)进行目标定位框获取，通过ReID模块(6)进行框定区域的重识别特征获取；

通过后处理模块计算和匹配相似性度量，完成对图像的目标跟踪。

2.根据权利要求1所述的一种基于对比学习方式的多目标跟踪方法，其特征在于，所述互相关模块(3)解耦共享特征(2)的过程包括：对于检测模块(5)和ReID模块(6)之间的独立性特征，通过自关联方式进行独立性信息学习；对于检测模块(5)和ReID模块(6)之间的共性特征，通过交叉关联方式进行共性信息学习；融合自关联和交叉关联的权重，计算每个任务模块的特征表示(4)。

3.根据权利要求2所述的一种基于对比学习方式的多目标跟踪方法，其特征在于，计算每个任务自关联的权重的过程包括：

通过颈结构(8)获得多尺度共享特征(2)F∈R^C×H×W，其中C、H和W分别表示特征的通道数、高和宽；

利用平均池化操作获得尺度更小的特征F′∈R^{C×H′×W′}；

输入到一个卷积层中获得针对不同任务模块的特征T₁和T₂；

重塑成{M₁，M₂}∈R^C×N′，其中N′＝H′×W′；

将不同的任务单独与它自身的转置进行矩阵乘法，利用softmax计算每个任务自关联的权重计算式如下：

其中，表示在特征T_K中第i通道和第j通道之间的关系。

4.根据权利要求2或3所述的一种基于对比学习方式的多目标跟踪方法，其特征在于，交叉关联的权重计算过程包括：

通过颈结构(8)获得多尺度共享特征(2)F∈R^C×H×W，其中C、H和W分别表示特征的通道数、高和宽；

利用平均池化操作获得尺度更小的特征F′∈R^{C×H′×W′}；

输入到一个卷积层中获得针对不同任务模块的特征T₁和T₂；

重塑成{M₁，M₂}∈R^C×N′，其中N′＝H′×W′；

在M₁和M₂的转置之间执行矩阵乘法，应用softmax层生成交叉关联的权重

计算式如下：

其中代表任务模块1/2的第i通道对任务模块2/1的第j通道的影响。

5.根据权利要求2或3所述的一种基于对比学习方式的多目标跟踪方法，其特征在于，计算每个任务模块的特征表示(4)的过程包括：

通过可训练参数γ，融合自关联和交叉关联的权重，得到{W₁，W₂}∈R^C×C，计算式如下：

将多尺度共享特征(2)F重塑为R^C×N，其中N＝HxW；

在重塑特征和学习的权重{W₁，W₂}∈R^C×C之间执行矩阵乘法，获得每个任务模块的增强表示；将增强表示与多尺度共享特征(2)F通过残差计算进行融合再重塑，得到每个任务模块最终的特征表示(4)