[发明专利]基于ByteTrack的无人机多目标跟踪方法

说明书

一种基于ByteTrack多目标跟踪算法的解决方案。为了应对预测轨迹不完整的问题，设计了一个全尺度卷积神经网络（OSNet）学习外观特征并计算外观相似度，从而增强模型的重识别能力。同时，采用ByteTrack数据关联算法来对检测框和跟踪轨迹之间的相似性进行评估和区分，将高分框和低分框进行分类处理，以解决由观测丢失（遮挡或不可靠的检测）导致的轨迹预测问题，从而提高跟踪轨迹的完整性。针对检测目标缺失可能导致的误差积累问题，在重新关联非活动轨迹与检测到的目标的框架中。并提出一种在线平滑滤波(OOS)方法，该方法为目标对象构建一条虚拟轨迹，从跟踪丢失之前的最后一个检测点开始，到新匹配到的检测结束，通过平滑卡尔曼滤波器参数对轨迹进行处理，以获得更准确的目标位置估计。

技术领域

本发明涉及无人机自动驾驶技术中的目标追踪。

背景技术

无人机在军事和民用领域的广泛应用，是由于其体积小、隐蔽性强、反应快速、对作战环境要求低、能够快速到达现场等优点。但是，为了满足无人机在多种任务需求下的应用，需要开发有效且稳定的多目标跟踪算法，以增强无人机的自主飞行和监控能力，并适应复杂多变的环境。经典跟踪算法在无人机飞行过程中效果较差，由于拍摄视角和飞行速度的改变会导致跟踪算法受到很大的挑战。然而，近年来，基于卷积神经网络的机器视觉技术的快速发展，多目标跟踪在目标检测技术的支持下，建立了以目标检测为底层技术的任务模式，通过数据关联来实现多个目标在一段视频流中的检测结果的轨迹绘制，从而满足多目标跟踪需求。

SORT算法是一种实时多目标跟踪算法，其主要流程是通过卷积神经网络（CNN）对视频帧中的目标进行检测，然后使用卡尔曼滤波对目标的位置进行预测，最后使用匈牙利匹配算法对前后两个时刻的目标进行匹配，实现对目标的跟踪。SORT算法具有实时性和较高的准确性，但它对遮挡和重叠目标的跟踪效果较差，可能会出现目标位置预测不准确的情况。此外，如果目标的运动方向发生变化，也可能会导致匹配结果不准确，从而影响跟踪效果。StrongSORT算法是在SORT算法的基础上进行改进的，其主要改进在于对检测数据的关联跟踪部分引入了重识别特征。但是物体外观变化较大时的跟踪效果不佳，虽然可以通过重识别特征来跟踪被遮挡或产生形变的物体，但是如果物体的外观变化较大，如在不同场景下，使用相同的重识别特征进行匹配可能会导致跟踪效果不佳。无人机多目标跟踪难点主要体现在以下几点，第一个问题是由于遮挡或形变，影响跟踪算法的准确性和鲁棒性。第二个问题是相机视野更宽广，存在大量小目标，导致跟踪轨迹不完整。第二个问题是无人机与目标交叉运动，导致轨迹预测的准确性低。目前的多目标跟踪模型无法很好地解决这些问题。

为了提高无人机多目标跟踪的精度，同时不影响处理效率，本文提出了一种基于ByteTrack多目标跟踪算法的解决方案。为了应对预测轨迹不完整的问题，设计了一个全尺度卷积神经网络（OSNet），用于学习外观特征并计算外观相似度，从而增强模型的重识别能力。同时，采用ByteTrack数据关联算法来对检测框和跟踪轨迹之间的相似性进行评估和区分，将高分框和低分框进行分类处理，以解决由观测丢失（遮挡或不可靠的检测）导致的轨迹预测问题，从而提高跟踪轨迹的完整性。针对检测目标缺失可能导致的误差积累问题，在重新关联非活动轨迹与检测到的目标的框架中。并提出一种在线平滑滤波(OOS)方法，该方法为目标对象构建一条虚拟轨迹，从跟踪丢失之前的最后一个检测点开始，到新匹配到的检测结束，通过平滑卡尔曼滤波器参数对轨迹进行处理，以获得更准确的目标位置估计。实验结果表明，该算法能够有效地减少形变和遮挡等因素对算法性能的影响，并显著提高了多目标跟踪算法的准确性。

发明内容

本发明针对无人机多目标跟踪中存在的变形、遮挡、视点高度和角度多变等问题，提出了一种基于ByteTrack的无人机目标追踪方法。该算法可以有效优化多目标跟踪问题，提高跟踪的准确性。设计的边界框评价算法可以更好地恢复遮挡目标的轨迹，并进一步提高无人机视频中多目标轨迹预测的精准度。通过优化关联算法，在保证处理效率的前提下实现了更加精准的无人机多目标跟踪。使关联算法对无人机视频中多目标轨迹预测的精准度进一步提高。