[发明专利]一种基于双目视觉的低空小型无人机障碍物感知方法

摘要

本发明公开了一种基于双目视觉的低空小型无人机障碍物感知方法，属于机器视觉技术领域。首先采用基于YOLOv2的深度学习目标检测与识别方法，对双目相机的左相机采集到的图像进行障碍物检测与识别，得到障碍物在图像中的像素位置、像素尺寸与障碍物种类信息。然后针对以上信息，采用KCF目标跟踪算法进行目标障碍物的实时跟踪，同时对双目相机的左右相机实时采集到的每帧环境图像进行三维重构，得到环境中障碍物的空间信息。最后结合上述所有信息，对每帧图像中的障碍物进行提取，得到环境中所有障碍物的空间位置、物理尺寸与障碍物种类。本发明大大减小了数据集采集制作复杂度，能够得到丰富的障碍物信息，为无人机避障提供保障。

主权项

1.一种基于双目视觉的低空小型无人机障碍物感知方法，其特征在于，包括以下几个步骤：步骤一：采用基于YOLOv2的深度学习目标检测与识别方法，对双目相机的左相机采集到的图像进行障碍物检测与识别，得到障碍物在图像中的像素位置、像素尺寸与障碍物种类信息；步骤二：针对障碍物在该帧图像中的像素位置、像素尺寸与障碍物种类信息，采用KCF目标跟踪算法进行目标障碍物的实时跟踪；步骤三：同时，对双目相机的左右相机实时采集到的每帧环境图像进行三维重构，得到环境中障碍物的空间信息；步骤四：结合上述所有信息，对每帧图像中的障碍物进行提取，得到环境中所有障碍物的空间位置、物理尺寸与障碍物种类；提取策略如下：首先，对每一帧图像，将三维重构出的三维空间坐标图的深度通道进行分离，得到该图像的障碍物深度图；然后，利用YOLOv2算法或KCF目标跟踪算法检测出的矩形框位置，去除障碍物深度图中矩形框之外的所有深度值，同时去除矩形框内深度值大于深度感知范围阈值的深度值，对每个环境障碍物深度图进行简化；最后，对简化后的每个环境障碍物深度图中每个矩形框依次执行下面的操作：步骤I、针对当前选择的简化的环境深度图，依次选取该图中单个矩形框作为当前矩形框，获取两条中轴线上的所有深度值，并进行四舍五入取整，计算众数；步骤II、去除当前矩形框内的，所有深度值与众数值的差值超过障碍物尺寸阈值的像素点，保留深度值与众数相差在障碍物尺寸阈值以内的像素点；步骤III、判断当前矩形框两条中轴线上像素点的个数是否大于比例阈值倍的中轴线长度，如果是，则进行步骤IV、否则进入下一个矩形框并返回步骤I重新计算；步骤IV、将矩形框内中轴线最上方、最下方、最左方和最右方的像素点位置处的原三维空间恢复图中的三维空间位置坐标输出；步骤V、根据四个三维空间位置坐标计算出当前矩形框中障碍物的中心位置坐标与障碍物长宽，并记录当前矩形框所表示的障碍物种类；步骤VI、将每个矩形框循环执行上述步骤后，得到该帧图像中每个障碍物的中心空间位置、障碍物宽高和障碍物的种类；步骤VII，同理，对每帧图像重复上述步骤，得到各图像的每个障碍物的中心空间位置，障碍物宽高和种类，最终完成对所有障碍物的感知，为后续无人机避障做好准备。