[发明专利]一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置

权利要求书

1.一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，包括以下步骤：

步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；

步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；

具体的，所述行人多目标跟踪网络模型的训练是采用所述片段型轨迹数据进行训练，将片段型轨迹数据的图像序列帧同时送入行人多目标跟踪网络模型进行推理，计算得到目标的坐标即目标框，以及外观特征，并基于所述目标的坐标与外观特征采用最短特征距离与轨迹曲率平滑函数进行匹配，同时利用总的损失函数求梯度进行行人多目标跟踪网络模型的后向推理；

所述总的损失函数是联合轨迹特征距离与拟合的损失函数与轨迹检测的平均L1损失函数加权平均的损失函数，表示联合轨迹特征距离与拟合的损失函数，表示轨迹片段目标检测的平均L1损失函数；

所述联合轨迹特征距离与拟合的损失函数由轨迹特征距离损失函数与轨迹曲率平滑损失函数加权平均得到，对行人多目标跟踪网络模型的特征提取与轨迹匹配进行训练学习；

所述轨迹特征距离损失函数表示为：

；

其中，，i∈[1，2m+1]，表示第i个图像帧中的目标框与第i个图像帧真实标签目标框的特征距离，采用特征向量夹角的余弦函数表示，2m+1为轨迹片段的图像序列帧个数；

所述轨迹曲率平滑损失函数表示为：

，

其中，x表示在轨迹片段中形成的目标轨迹个数，为预测的第j个目标的轨迹在2m+1帧图像的平均轨迹曲率，为对应的真实标签轨迹的曲率，j∈[1，x],为预测的目标轨迹与真实标签轨迹的平均轨迹曲率差值；所述匹配具体为预测目标轨迹与真实标签轨迹的匹配，采用曲线前端、中端、后端IOU匹配的规则进行匹配；

因此，所述联合轨迹特征距离与拟合的损失函数表示为：

，，

其中和均为加权的权重，基于来监督行人多目标跟踪网络模型在特征提取和轨迹匹配上的学习；

步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；

步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹，具体为：采用训练好的行人多目标跟踪网络模型，利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并进行轨迹平滑，匹配得到的轨迹使得目标与其前2m帧的轨迹目标的平均特征距离与轨迹曲率加权和最小，加权和表示为：

，，

其中表示当前预测的图像帧k与其前2m帧中的第i个图像帧的外观特征距离， 和均为加权的权重。

2.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述步骤S1，具体为：对获取的开源行人视频，利用标注软件对行人视频序列帧中的行人进行标注，包括标注目标框以及目标的身份识别ID号，ID号从1开始累加；然后对行人视频以固定的长度进行切割捆绑生成轨迹片段，轨迹片段由2m+1个图像序列帧组成，即该轨迹片段的数据由从某时刻图像帧之前m个图像帧至之后m个图像帧组成，m为正整数。

3.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述行人多目标跟踪网络模型由Yolov5-L主网络与多尺度特征提取模块组合而成，所述多尺度特征提取模块与Yolov5-L主网络的目标检测头并行排列且输入相同，所述多尺度特征提取模块由一个3*3*256卷积层和一个1*1*256*3的卷积层组成；输入图像经过Yolov5-L主网络后再经过多尺度特征提取模块输出一张与输入图像尺寸一样的外观特征图，再基于目标检测头检测得到的目标框所属的预设边框，在外观特征图中截取得到目标框对应的外观特征。

4.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述轨迹片段目标检测的平均L1损失函数表示为：

，

其中，表示第i帧图像的目标检测的平均L1损失函数，2m+1为轨迹片段的图像序列帧个数。