[发明专利]基于数据共享的多智能体协同跟踪方法、装置及存储介质

说明书

本发明公开了一种基于数据共享的多智能体协同跟踪方法、装置及存储介质，方法包括：通过无人机拍摄获取数据，将采集到的数据进行格式调整和目标标注处理，获取MDMT数据集；基于所述MDMT数据集，使用Tracktor单机多目标追踪算法进行单个无人机视频的多目标追踪，通过其他摄像头的信息进行跨摄像头目标关联，对出现在不同无人机视野范围内的相同目标进行编号的统一。装置包括：获取模块、跟踪模块和跨摄像头目标关联模块。介质包括：计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令。本发明通过其他无人机中的图像的信息对于要跟踪的这台无人机中新加入的目标进行编号的匹配，这样可以更好的解决目标遮挡问题。

技术领域

本发明涉及多目标跟踪领域，尤其涉及一种基于数据共享的多智能体协同跟踪方法、装置及存储介质。

背景技术

伴随科学技术的创新与发展，计算机已经在诸多领域影响着人们的生活。如今图片和视频已经在日常生活中广泛应用。通过计算机技术对视频进行检测分析发展起来的计算机视觉领域，已经成为计算机主流研究领域之一。在解决动作识别、目标检测、智能监控等问题的过程中，基于计算机视觉的多目标跟踪都对其产生了重要影响。

基于计算机视觉的多无人机多目标追踪通过对视频进行识别，并跟踪多个类别的目标，例如：人群、鸟群、机动车等等。与单目标跟踪相异、多目标跟踪不能提前知道目标的外观和数量。当下主流的多目标跟踪先是对目标框进行识别，接着关联目标并匹配目标编号。

多无人机多目标追踪算法的实现离不开大规模多目标的数据集，而现有多目标数据集多为固定拍摄。所以，建立一个较大规模的多无人机多目标跟踪数据集是当下多无人机多目标追踪研究的迫切需要。

对于拍摄中存在的目标遮挡，目标进出视频画面问题，目标进出视频画面问题，研究人员通过建立超图进行全局轨迹匹配，虽然该方法对解决问题有一定补益，但在实际应用中，仍需探索更高精度和更快速度的检测跟踪。另外，研究人员也通过多摄像头来增强单摄像头的检测能力，发挥多摄像头数据的优势来解决遮挡等问题，该类问题很难在单摄像头环境下解决。

现有的解决方案多是构建摄像头之间的几何关系，通过几何关系来对数据进行信息补充，这种方案并不适用于无人机。无人机的相对位置一直在发生变化，并不能构建出稳定不变的几何关系，所以之前固定多摄像头的研究难以直接迁移应用到多无人机上。此外无人机对实时性要求较高，所使用追踪算法应具有实时追踪能力，目前成熟的多摄像头多目标的跟踪算法都是离线方式，即先对整个视频进行检测和全局匹配，该方式不能符合多无人机多摄像头的实时性要求。

发明内容

本发明提出了一种基于数据共享的多智能体协同跟踪方法、装置及存储介质，本发明针对多无人机多目标跟踪进行研究，首先提出了多无人机多目标跟踪数据集MDMT，该数据集相对已有数据集具有更大规模，更多目标的特点，本发明不需要建立几何关系，即可优化现有算法的性能，详见下文描述：

第一方面，一种基于数据共享的多智能体协同跟踪方法，所述方法包括：

通过无人机拍摄获取数据，将采集到的数据进行格式统一和目标标注，获取MDMT数据集；

基于所述MDMT数据集，使用Tracktor单机多目标追踪算法进行单个无人机视频的多目标追踪，通过其他摄像头的信息进行跨摄像头目标关联，对出现在不同无人机视野范围内的相同目标进行编号的统一。

在一种实施方式中，所述MDMT数据集包括：

不同角度拍摄的的双无人机数据集，包括：若干种类和若干属性标签的视频序列；

所述双无人机数据集包含两个无人机对同一场景同时进行不同角度的拍摄画面，两个无人机拍到的目标有重叠，但画面并不完全相同。

在一种实施方式中，所述跨摄像头目标关联具体为：