[发明专利]一种基于无人机航拍视频的多目标检测的方法

说明书

本发明提供了一种基于无人机航拍视频的多目标检测的方法，包括：获取无人机航拍视频，提取其中各视频帧对应的图像；将各视频帧对应的图像按序输入根据本发明的用于无人机航拍图像的多目标检测模型的训练方法训练得到的多目标检测模型，得到连续的视频帧对应的目标检测结果；由此，可提高多目标检测模型进行目标检测的精度。

技术领域

本发明涉及多目标跟踪领域，具体来说涉及基于无人机拍摄的视频中的图像进行多目标跟踪的技术领域，更具体地说，涉及一种基于无人机航拍视频的多目标检测的方法。

背景技术

多目标跟踪(Multiple Object Tracking,MOT)是指对视频中存在的若干个感兴趣目标进行定位，并在不同帧之间保持目标的ID不改变，以此记录每个目标的轨迹。这些目标的类型可以根据需要具体设置并训练相应的模型，例如，目标的类型可以是街道上的行人、道路上的车辆、球场上的体育运动员，或者一组动物(鸟、蝙蝠、蚂蚁、鱼等)。

随着科技的发展，无人机凭借其可获得大范围、多角度、高分辨率数据等优势和不受时间、地域限制的特性，已经广泛地应用在智慧城市、航空摄影、农业、科研等多个领域。在虚拟现实研究领域，无人机采集的数据可以作为基于实例的仿真建模算法的数据来源，同时可以作为仿真结果的评价依据。

近年来，深度学习在图片分类、物体检测、目标跟踪等领域取得了很大发展，但是这些算法不能很好地直接适用于无人机数据。因为无人机在高空动态飞行，其拍摄图像存在不稳定、视点动态变化等特点，导致视频中目标的纵横比、运动速度、尺度等的动态变化，以及目标遮挡和丢失等现象，给基于无人机航拍数据的多目标跟踪带来了很大的挑战。此外，由于多目标跟踪问题的复杂性，绝大多数现有算法无法做到实时的跟踪效果。然而在很多无人机相关的应用场景中，实时的多目标跟踪是必要的。因此，面向无人机航拍数据，开展实时多目标跟踪算法研究，具有较高的研究价值和应用前景。

与常规的多目标跟踪任务(例如MOT Challenge)相比，基于无人机数据的多目标跟踪任务有以下难点：

1、待检测目标数目多：与常规的目标检测或跟踪数据集不同，无人机拍摄数据集中每张图片可能包含上百个待检测目标，并且单张图片的分辨率很高。所以若使用对计算资源消耗较大的模型，可能会出现资源不够的情况。这就容易造成基于无人机航拍视频的多目标跟踪系统运行速度较低的问题。

2、部分目标过小：因为无人机拍摄数据集视角高离地面相对较远，因此图片中部分对象的标注框可能非常小，这对模型检测能力形成了一定的挑战，如何处理高分辨率的空间信息以产生高质量的候选区域是很大的挑战；在训练网络模型时，常用的方法会使用到经过第三方数据集预训练好的模型，常用于预训练的数据集包括COCO、OBJ365等。使用预训练好的模型来微调其他数据集可以加快网络的收敛速度，进而缩短训练时间。而无人机拍摄的数据集由于拍摄角度、拍摄环境的原因，数据的分布与广泛使用的图像数据集有较大差异，使得预训练所带来的效果可能不如预期；

3、提取目标的表观特征的能力不强：由于现有的多目标检测模型仅对目标的位置和分类进行检测，但实际上即使是同一分类的目标，其也有诸多不同的属性，比如两辆不同的车之间，其表观特征存在差异，比如：造型、轮廓、比例等外在形态的差异，而现有模型在训练时对此的关注度不够。

以上问题容易导致模型对无人机航拍数据检测精度不高的情况。因此，有必要对现有技术进行改进。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于无人机航拍视频的多目标检测的方法。

本发明的目的是通过以下技术方案实现的：