[发明专利]一种检测与跟踪协同的无人机视觉引导系统及控制方法

权利要求书

1.一种检测与跟踪协同的无人机视觉引导系统，其特征在于：包括硬件系统和软件系统，所述硬件系统包括图像采集模块、软件处理模块和无人机模块，图像采集模块是前端模块，用于获取和传输图像；软件处理模块是核心模块，其用于接收并处理图像采集模块传来的数据，也用于依据数据处理结果控制无人飞行模块；无人飞行模块负责飞行搭载和飞行控制，其接收软件处理模块发送过来的控制信号，根据信号调整系统飞行状态；

所述软件系统包括软件框架和软件工作流程，所述软件框架包括软件初始化模块、图像采集模块、目标检测模块、目标跟踪模块、建模跟踪融合模块、定位计算模块和飞控模块；

所述软件工作流程包括主线程、相机线程、串口线程和定位线程；主线程用于初始化各模块与子线程；所述相机线程用于采集与存储图像；所述串口线程用于负责控制无人机执行功能；所述定位线程用于定位目标及调整检测跟踪算法。

2.根据权利要求1所述的检测与跟踪协同的无人机视觉引导系统，其特征在于：所述图像采集模块选用的硬件是Intel-Realsense-D435i型深度相机；所述软件处理模块选用的硬件是嵌入式平台是NVIDIA-Jetson-TX2核心板；所述的软件框架设置于所述NVIDIA-Jetson-TX2核心板上；所述无人飞行模块选用的硬件是M600型无人机。

3.根据权利要求2所述的检测与跟踪协同的无人机视觉引导系统，其特征在于：所述图像采集模块(Intel-RealSense深度相机)和软件处理模块(NVIDIA-Jetson-TX2)之间通过Type-c数据线即可完成硬件连接和数据传输；软件处理模块和无人飞行模块之间，在硬件层面通过杜邦线将两模块预留的串口排针进行对应连接，在NVIDIA-Jetson-TX2平台上通过软件方式，开启TX2的串口通信功能；系统具备图像回传功能；用户能够通过手机app(DJI-GO)随时观看系统进行视觉引导的过程，对系统工作情况进行监督。

4.根据权利要求1所述的检测与跟踪协同的无人机视觉引导系统，其特征在于：

相机线程中，存储相机图像时需使用线程锁，且在存图前采用H265编码压缩图片大小；

串口线程与定位线程共享无人机定位数据，在访问数据时需使用线程锁；当串口线程获取到的无人机高度值低于系统设定阈值时，其控制控制无人机强制返航，防止系统发生意外；

定位线程是核心线程，其在每轮循环中，获取无人机定位信息须优先执行；其在刚开始时会将首帧目标检测结果中置信度最高的目标作为本次视觉引导的针对目标；在刚开始时会使用检测算法选中的目标作为跟踪算法模板；最大IOU指单个跟踪框与多检测框分别计算IOU后得到的IOU最大值；其根据最大IOU值选择结果框、调整检测跟踪算法；输出检测框指将所有检测框中与跟踪框重叠度最高的框作为结果框输出，输出跟踪框是指将跟踪结果作为结果框输出；当最大IOU高于0.5时，其输出检测框，不调整检测跟踪算法；当最大IOU在0.1到0.5之间时，其输出检测框，但在下一帧中利用本帧结果重置跟踪算法模板；当最大IOU低于0.1但这种情况连续出现帧数低于10时，其输出跟踪框，不调整算法；当出现帧数高于10时，其将调用回溯机制，并在回溯完成后重置跟踪算法模板；若连续调用了3次回溯机制，其将在下一帧重新使用检测算法重新选择定位目标；其会在每次循环中调用记忆机制，即记录帧号、检测结果、跟踪结果、输出框结果、无人机定位信息等，便于后续执行回溯功能；若此时无人机相对地面高度小于7.5米，并且检测算法已连续7帧检出目标关键部位，同时检测结果中关键部位数量为1，其将在下次循环时，将定位目标切换成关键部位，并重置跟踪算法模板；若在当前帧中，输出结果框在图像中心，且此时无人机相对地面高度小于2米，定位目标的类别为关键部位，其判定系统已成功抵近目标关键部位。