[发明专利]一种检测与跟踪协同的无人机视觉引导系统及控制方法

说明书

本发明涉及检测与跟踪协同的无人机视觉引导系统及控制方法，包括硬件系统和软件系统，硬件系统包括图像采集模块、软件处理模块和无人机模块，图像采集模块是前端模块，用于获取和传输图像；软件系统包括软件框架和软件工作流程，软件框架包括软件初始化模块、图像采集模块、目标检测模块、目标跟踪模块、建模跟踪融合模块、定位计算模块和飞控模块。本发明在地面上打开，随后飞行到目标上空，选择目标；不断定位抵近该目标；当抵近目标到一定程度后，将定位目标切换为目标上方关键部位；在该关键部位上执行业务功能。本发明同时使用目标检测算法和目标跟踪算法，设计两种算法的融合工作机制，充分发挥两种算法各自的优势，使得系统获得更佳性能。

技术领域

本发明涉及一种检测与跟踪协同的无人机视觉引导系统及控制方法，属于无人机视觉引导技术领域。

背景技术

无人机作为成熟的技术，应用在各大领域。视觉引导以图像处理技术为基础，对摄像头采集到的图像进行相应处理，结合摄像头内参、约束条件信息等解算目标运动过程中的位姿信息，从而控制飞行器降落的一种新型导航技术，因其精度高、抗干扰、被动成像、成本低等优点，得到广泛的关注。而现有技术中的目标获取存在精度瑕疵，因此，需要一种检测与跟踪协同的无人机视觉引导系统及控制方法。

发明内容

为了解决上述技术问题，本发明提供一种检测与跟踪协同的无人机视觉引导系统，其具体的技术方案为：包括硬件系统和软件系统，所述硬件系统包括图像采集模块、软件处理模块和无人机模块，图像采集模块是前端模块，用于获取和传输图像；软件处理模块是核心模块，其用于接收并处理图像采集模块传来的数据，也用于依据数据处理结果控制无人飞行模块；无人飞行模块负责飞行搭载和飞行控制，其接收软件处理模块发送过来的控制信号，根据信号调整系统飞行状态；

所述软件系统包括软件框架和软件工作流程，所述软件框架包括软件初始化模块、图像采集模块、目标检测模块、目标跟踪模块、建模跟踪融合模块、定位计算模块和飞控模块；

所述软件工作流程包括主线程、相机线程、串口线程和定位线程；主线程用于初始化各模块与子线程；所述相机线程用于采集与存储图像；所述串口线程用于负责控制无人机执行功能；所述定位线程用于定位目标及调整检测跟踪算法。

进一步的，所述图像采集模块选用的硬件是Intel-Realsense-D435i型深度相机；所述软件处理模块选用的硬件是嵌入式平台是NVIDIA-Jetson-TX2核心板；所述的软件框架设置于所述 NVIDIA-Jetson-TX2核心板上；所述无人飞行模块选用的硬件是M600型无人机。

进一步的，所述图像采集模块(Intel-RealSense深度相机)和软件处理模块(NVIDIA-Jetson-TX2)之间通过Type-c数据线即可完成硬件连接和数据传输；软件处理模块和无人飞行模块之间，在硬件层面通过杜邦线将两模块预留的串口排针进行对应连接，在 NVIDIA-Jetson-TX2平台上通过软件方式，开启TX2的串口通信功能；系统具备图像回传功能；用户能够通过手机app(DJI-GO)随时观看系统进行视觉引导的过程，对系统工作情况进行监督。

进一步的，相机线程中，存储相机图像时需使用线程锁，且在存图前采用H265编码压缩图片大小；串口线程与定位线程共享无人机定位数据，在访问数据时需使用线程锁；当串口线程获取到的无人机高度值低于系统设定阈值时，其控制控制无人机强制返航，防止系统发生意外；