[发明专利]一种单摄像头多目标跟踪数据集制作方法与系统

说明书

本发明公开了一种单摄像头多目标跟踪数据集制作方法与系统，通过将收集的待标注的原始视频或图像序列作为总素材数据进行管理，划分为第一素材数据和第二素材数据；采用传统多目标跟踪算法对第一素材数据进行预标注，并对第一素材数据和相应预标注进行抽帧预处理，分别得到预处理素材数据和预标注跟踪结果；调用分阶段修正校准预标注结果流程，对预标注跟踪结果进行修正校准处理，得到修正标注文件；利用修正标注文件与相应的预处理素材数据训练并优化多目标跟踪算法深度神经网络模型；调用训练好的多目标跟踪算法深度神经网络模型进行前向推理，得到预标注，并采用修正预标注结果流程对第二素材数据进行处理。本发明精准度高、操作简便高效。

技术领域

本发明涉及计算机视觉和人工智能深度学习技术领域，尤其公开了一种单摄像头多目标跟踪数据集制作方法与系统。

背景技术

为了使基于深度神经网络的多目标跟踪算法理论研究成果成功应用于实际的工业生产中，需要针对算法的具体落地应用场景，提供大量的素材数据及其精确标注数据，用于多目标跟踪的素材数据包括视频以及从视频提取的包含感兴趣目标的图像序列。素材数据的规模性和丰富多样性，是模型具有广泛场景适用性的重要保证，而素材数据的标注数据的精准性，则是模型可靠训练和精确推理的必要条件。在特定的地点架设一定数量的监控摄像头，可获得多目标跟踪模型训练所需的视频素材数据；然而，要获得相应的精准标注数据，从而构建成多目标跟踪数据集，却无法简单实现。

构建深度学习所需数据集通常有三种数据标注方式：机器算法标注、纯人工手动标注、机器预标注加修正校准。机器算法标注指的是采用已有的特定算法对素材数据进行处理直接获得标注结果；纯人工手动标注指的是完全通过人工对所有素材数据按照特定的标注要求进行逐一标记的方式；机器预标注加修正校准则是在机器算法标注的基础上，加入人的主观判断，对获得标注结果进行人工增、删、改操作，从而获得精准标注结果。然而，对用于单摄像头多目标跟踪的数据标注而言，上述三种标注方式均存在不足。由于现有多目标跟踪算法无法确保跟踪目标的追踪一致性，而且会伴随有跟踪目标ID（身份编号）跳变错误，尤其是涉及城市街景路口人车混行的多类别多目标跟踪，算法标注错误非常严峻，导致所标注的数据无法使用。其中，标注错误可分为两类：第一类标注错误为，出现多个目标对象的轨迹段（Tracklet）被误标注成一个目标对象的完整轨迹（Trajectory）；第二类标注错误为，一个目标对象的轨迹（Trajectory）被误标注成两个或多个目标对象的轨迹段（Tracklet）。若采用基于现有多目标跟踪算法的机器标注的方式，虽然足够高效、成本低廉，但是无法避免频繁出现上述两类标注错误的情况；若采用完全人工手动标注的方式，则费时费力、效率低下，成本过高；若借鉴其他深度学习任务的有关数据集制作方法，简单地采用算法预标注加修正校准的方式，那么在修正校准多目标跟踪算法预标注的上述两类标注错误的过程中，必然会面临难以迅速定位及修正相关标注错误的问题，尤其是修正校准的操作工作量大且繁琐，实施难度甚至不亚于完全的人工手动标注方式，故此方式的标注效率相对于其他深度学习任务的数据标注效率显然会大打折扣。

在专利CN202110647385.0中，通过对前M帧图像进行人工标注、红外图像超像素分割、聚类、计算正负样本集、计算样本集的内部位置结构及类结构约束、融合置信图等步骤，实现了对视频图像中的目标对象进行跟踪信息的标注。该专利涉及的运算量大、计算成本高，且难以利用GPU硬件算力资源加速实现相关运算，而且对跟踪目标对象的框选精准度远不如基于深度神经网络的目标检测算法效果。此外，该专利仅对红外图像序列的单目标对象跟踪的数据标注有效，难以应用于多目标对象跟踪的数据标注，更无法适用于城市街景路口人车混行的多类别多目标对象跟踪的标注，因为该方案除了无法准确且全面地框选所感兴趣的跟踪目标对象外，更无法避免两类标注错误：两个或多个跟踪目标轨迹段被错误串联为一个轨迹、同一个跟踪目标轨迹被错误拆分为两个或多个目标轨迹段。