[发明专利]一种无人机跟踪拍摄系统及其RGBD跟踪方法

说明书

本发明公开了一种无人机跟踪拍摄系统及其RGBD跟踪方法，系统包括存储与服务模块、跟踪控制模块、数据传输模块，每个模块由基本程序语言与机器学习算法框架实现并应用于无人机设备中。存储与服务模块为跟踪任务提供统一的模型训练接口，用于模型的存储与优化；跟踪控制模块使用目标跟踪算法实时跟踪拍摄对象，实现复杂环境下的无人机跟踪拍摄；数据传输模块用于图像数据与跟踪控制指令的传输。本发明实现了无人机脱离手动控制下的自动跟踪拍摄功能，且可以解决无人机在复杂拍摄环境中容易因遮挡因素丢失目标的问题，提高了无人机拍摄技术在更多场景中的可用性。

技术领域

本发明涉及视觉目标跟踪的技术领域，尤其是指一种无人机跟踪拍摄系统及其RGBD跟踪方法。

背景技术

无人机技术已广泛应用于广告摄影、快递运输、城市规划等多个领域，其中无人机航拍技术具有清晰度高、拍摄面积大、场景受限小等优点，替代了许多场景中的传统拍摄手段。在使用无人机拍摄运动对象时，通常需要拍摄员使用地面设备手动控制无人机的飞行状态来完成跟拍任务并保证拍摄质量。近年来，人工智能技术迅猛发展，尤其是视觉图像识别技术在视频监控、机器人交互等领域实现了大量智能化产品的落地，为生产、生活提供了极大便利。如今，无人机拍摄技术经过智能化发展已不再受限于手动控制的飞行方式，可在脱离人为操作的情况下完成较长时间的自动跟拍任务，且拥有基于双目立体视觉、超声波测距或红外测距的自动避障功能。

无人机跟踪拍摄技术重点在于良好的跟踪性能，随着机器学习、深度学习的兴起，现阶段无人机主要通过具有实时性的视觉目标跟踪算法实现其跟拍功能。目标跟踪一直是计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展，在智能视觉导航、现代化军事、人机交互、无人驾驶等领域均有应用。从外观模型的角度来说，目标跟踪可以分为生成式模型和判别式模型两种。生成式模型是目标跟踪领域最早出现的跟踪方法，它首先对目标外观建模，然后从候选搜索区域中重构误差最小的区域作为预测目标，经典的生成式目标跟踪算法包括粒子滤波、均值漂移等。判别式跟踪算法将机器学习引入目标跟踪，同时提取目标和背景的特征作二分类任务，由于生成式模型的计算复杂度高等多方面限制，如今以相关滤波和孪生网络为代表的判别式跟踪算法已成为主流。

目标跟踪算法在网络、模型、特征提取等方面的优化已经取得了显著的成效，但无人机拍摄需求可能出现在各种复杂环境，在一些特定场景中仍然无法保证高质量的跟拍，尤其是出现目标被完全遮挡或背景与目标特征相似时容易丢失目标，导致目标偏离拍摄中心或超出拍摄视角。由于从RGB视频图像中仅能得到单视角下物体表面的颜色、纹理等信息，2D视觉跟踪存在很大局限性。在深度相机普及后，目标跟踪的研究扩展到3D领域，深度相机采集到的深度图像描述了物体表面和视点之间的距离，能够帮助解决更多跟踪难题。

综上所述，可以通过无人机搭载深度相机实现RGBD目标跟踪，利用深度图像和RGB图像特征共同解决复杂场景下的拍摄难题，基于深度学习网络建立高效的目标跟踪器完成快速目标定位，同时结合基于特征点检测的目标重定位算法解决长时遮挡或背景干扰下的目标丢失问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种无人机跟踪拍摄系统及其RGBD跟踪方法，由搭载深度相机和光学相机的无人机获取实时拍摄的深度图像与RGB图像，将具有实时性和鲁棒性的RGBD目标跟踪算法植入飞行控制系统实现自动跟拍功能，解决长时遮挡和背景干扰下无人机容易跟踪错误或丢失目标的问题，使得无人机拍摄技术在更多复杂场景中得到应用。

为实现上述目的，本发明所提供的技术方案为：一种无人机跟踪拍摄系统，包括：

存储与服务模块，用于存储图像数据与模型参数，为跟踪任务提供统一的模型训练接口，离线完成模型参数的更新与优化；

跟踪控制模块，使用目标跟踪算法实时跟踪拍摄对象，自动生成飞行控制指令，实现复杂环境下的无人机跟踪拍摄；