[发明专利]一种基于缓存的密集目标追踪方法、设备及存储介质

说明书

本发明涉及目标跟踪技术领域，具体涉及一种基于缓存的密集目标追踪方法、设备及存储介质，包括如下步骤，对实时视频流解码得到图像帧数据；将连续的图像帧数据输入跨镜头目标跟踪算法，得出不同物体的跨境头轨迹并缓存；将视频缓存流中不同物体从t‑1帧到t‑T帧之间的目标区域和第t帧的图像数据同时作为输入并输入至基于缓存的目标跟踪算法中，得出第t帧当前目标追踪框结果，目标追踪框结果中包含有新增的追踪目标，本发明可对于密集场景下长时间互相遮挡的多目标进行有效追踪。

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于缓存的密集目标追踪方法、设备及存储介质。

背景技术

目标跟踪是利用视屏或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。从目标跟踪数量可分为单目标跟踪和多目标跟踪。

现有技术一：多目标跟踪方法、多目标跟踪装置以及非易失性存储介质(授权公告号：CN108875465B)，通过分别对多个单目标进行单个目标检测，得到单个目标的目标跟踪轨迹，将多个单目标的目标跟踪轨迹进行图像融合以得到多个目标的目标跟踪轨迹，现有技术一通过使用单目标跟踪来解决多目标跟踪的问题。

现有技术二：一种基于俯视投射的多目标跟踪网络构建方法及装置(授权公告号：CN114913209B)，通过构建基于俯视投射的多目标跟踪网络，包括主干网、俯视编码器和空间解码器，缓解当前以2D检测实现多目标跟踪时存在的重叠遮挡、精确度不高等问题。

目前的图像跟踪算法大多只能对单目标或者稀疏的多目标进行追踪，无法对密集场景下互相遮挡的多目标进行有效追踪，在目标长时间被遮挡后，追踪的目标会存在大量丢失的情况。

发明内容

本发明的目的是提供一种基于缓存的密集目标追踪方法、设备及存储介质，可对于密集场景下长时间互相遮挡的多目标进行有效追踪。

为实现上述目的，本发明提供了如下的技术方案：

第一方面，本发明提供了一种基于缓存的密集目标追踪方法，包括如下步骤：

S1.对实时视频流解码得到图像帧数据；

S2.基于步骤S1，将连续的图像帧数据输入跨镜头目标跟踪算法，得出不同物体的跨境头轨迹并缓存；

S3.基于步骤S2，将视频缓存流中不同物体从t-1帧到t-T帧之间的目标区域和第t帧的图像数据同时作为输入并输入至基于缓存的目标跟踪算法中，得出第t帧当前目标追踪框结果，目标追踪框结果中包含有新增的追踪目标。

进一步的，步骤S3的具体方法为：

S31.将第t帧的图像数据I^t输入全思编码器，得到编码特征，所述编码特征中包含编码特征键值对(key，val)；

S32.基于步骤S31，将编码特征输入全思解码器，生成候选嵌入向量；

S33.将视频缓存流中不同物体从t-1帧到t-T帧之间的目标区域数据经过缓存聚合后生成追踪嵌入向量；

S34.将步骤S32中的候选嵌入向量与步骤S33中的追踪嵌入向量进行叠加合并后与步骤S31中的编码特征键值对(key，val)一同输入至缓存求解器中，输出最终的追踪目标序列。

优选的，还包括输出的追踪目标序列依次经过缓存编码和缓存解码后更新缓存至视频缓存流中。

进一步的，输出的追踪目标序列包括背景、新增的追踪目标、需要抑制的非追踪目标和确认追踪的目标四个类别。

进一步的，缓存聚合的具体方法为：

S331.不同物体中的任一物体在t-1-T到t-1时间段的缓存可分为全量的短注意力特征键值对和长注意力特征键值对；