[发明专利]一种基于单目视觉的无人机低功耗自主避障方法及系统

权利要求书

1.一种基于单目视觉的无人机低功耗自主避障方法，其特征在于，步骤如下：

步骤1：收集数据集：采用深度相机收集数据集，深度相机收集到的是整个场景的距离；同步收集单目RGB图像和深度图像，单目RGB图像数据集作为训练轻量化自主避障模型的数据集，深度图像用于制作距离标签；

步骤2：数据集处理：将收集到的深度图像进行裁剪后，按宽度等分为左中右三部分，并求出左中右三部分的平均深度值，深度值表示距离值，将平均深度值作为左中右三个方向的距离，将三个方向的距离与所述单目RGB图像数据集进行对应，作为单目RGB图像左中右三个方向的距离标签；

步骤3：基于轻量化卷积神经网络构建轻量化自主避障模型；

步骤4：训练和测试所述轻量化自主避障模型，将所述数据集划分为训练集，验证集和测试集，确定模型训练参数，采用模型训练参数进行轻量化自主避障模型的训练，将模型训练参数代入轻量化自主避障模型，最终从单目图像中预测到左中右三个方向的距离dl，dc，dr；

步骤5：设计控制算法将所预测的左中右三个方向的距离dl，dc，dr转化为无人机控制指令，以控制无人机的避障飞行；

所述步骤3中，轻量化自主避障模型采用轻量化卷积神经网络实现，所述轻量化卷积神经网络的输入层是单目RGB图像，经过预先特征提取层提取特征，预先特征提取层由池化层max pooling+卷积层conv+池化层max pooling构成；然后经过两个轻量化模块提取特征；最后经过一个3*3卷积运算提取特征后将特征图按宽度划分为左中右三块，分别送入三个分支中，每个分支层由一个3*3卷积加一个全连接层组成，各分支最后输出左中右三个方向的距离；所述两个轻量化模块均采用轻量级卷积神经网络SuffleNet中的模块，损失函数采用三分支MSE(Mean Squard Error，均方误差)损失函数；

所述步骤5中，控制算法实现如下：

(1)无人机控制指令包括线速度V和角速度W，线速度V由中间方向距离dc控制，能够判断无人机正对空间是否有障碍物，为了更好的调节线速度再设置两个阈值dmin和dmax，dc小于dmin表示当前正对空间存在障碍物，线速度调整为0，dc大于dmax表示当前正对空间不存在障碍物，调整为最大线速度Vmax，dc位于两者之间则根据dc距离大小调整线速度，线速度公式为：

(2)角速度W由所述左中右三个方向的距离dl，dc，dr共同决定，角速度W大小范围为[-1,1]，小于0表示向左转，大于0表示向右转；将左边方向设置为-45°，中间方向设置为0°，右边方向设置为45°，则dl，dc，dr均成为向量dl，dc，dr，当左中右三个方向距离都大于dmin时，角速度由三个方向的距离向量共同决定，θ等于dl，dc，dr合力方向的度数，角速度等于θ除以dr度数；否则，当左方向距离大于右方向距离时，角速度由左中距离向量共同决定，θ等于dl，dc合力方向的度数，角速度等于θ除以dr度数；反之由右中距离向量共同决定，θ等于dc，dr合力方向的度数，角速度等于θ除以dr度数，当左中右三个方向距离都小于dmin时，说明此时左中右三个方向都存在障碍物，则掉头寻找其他路径。

2.根据权利要求1所述的基于单目视觉的无人机低功耗自主避障方法，其特征在于：所述步骤2中，在归一化前选一个安全阈值d_safe和危险阈值d_danger，比d_danger小的距离视为危险距离，比d_safe大的距离视为安全距离，则归一化公式为：

3.一种基于单目视觉的无人机低功耗自主避障系统，其特征在于，包括：视频解析模块、避障系统模块和控制系统模块；

视频解析模块，为整个系统提供图像输入，首先利用无人机收集视频，通过Socket协议传输到控制平台，然后进行视频解析，将视频解析为帧图像，接下来对图像进行预处理，即将图像调整为规定大小，图像处理好后被输入到避障系统模块中；

避障系统模块，用于从图像中预测左中右三个方向的距离；视频解析模块已经得到了经过预处理的图像，接下来将训练好的轻量化自主避障模型部署到控制平台上，具体部署方式为：在控制平台上安装轻量化自主避障模型运行所需环境，并将轻量化自主避障模型进行模型压缩，使其在控制平台上运行；部署完成后，将视频解析模块得到的图像作为轻量化自主避障模型的输入，运行模型得到该图像对应的左中右三个方向的距离dl，dc，dr；轻量化自主避障模型采用轻量化卷积神经网络实现，所述轻量化卷积神经网络的输入层是单目RGB图像，经过预先特征提取层提取特征，预先特征提取层由池化层max pooling+卷积层conv+池化层max pooling构成；然后经过两个轻量化模块提取特征；最后经过一个3*3卷积运算提取特征后将特征图按宽度划分为左中右三块，分别送入三个分支中，每个分支层由一个3*3卷积加一个全连接层组成，各分支最后输出左中右三个方向的距离；所述两个轻量化模块均采用轻量级卷积神经网络SuffleNet中的模块，损失函数采用三分支MSE(MeanSquard Error，均方误差)损失函数；

控制系统模块，用于将左中右三个方向的距离转换为控制无人机的指令，无人机控制指令包括无人机线速度V和角速度W；

(1)线速度V由中间方向距离dc控制，能够判断无人机正对空间是否有障碍物，为了更好的调节线速度再设置两个阈值dmin和dmax，dc小于dmin表示当前正对空间存在障碍物，线速度调整为0，dc大于dmax表示当前正对空间不存在障碍物，调整为最大线速度Vmax，dc位于两者之间则根据dc距离大小调整线速度，线速度公式为：

(2)无人机角速度由W所述左中右三个方向的距离dl，dc，dr共同决定，角速度大小范围为[-1,1]，小于0表示向左转，大于0表示向右转；将左边方向设置为-45°，中间方向设置为0°，右边方向设置为45°，则dl，dc，dr均成为向量dl，dc，dr，当左中右三个方向距离都大于dmin时，角速度由三个方向的距离向量共同决定，θ等于dl，dc，dr合力方向的度数，角速度等于θ除以dr度数；否则，当左方向距离大于右方向距离时，角速度由左中距离向量共同决定，θ等于dl，dc合力方向的度数，角速度等于θ除以dr度数；反之由右中距离向量共同决定，θ等于dc，dr合力方向的度数，角速度等于θ除以dr度数，当左中右三个方向距离都小于dmin时，说明此时左中右三个方向都存在障碍物，则掉头寻找其他路径；

(3)求得无人机线速度V和角速度W后，控制平台通过Socket协议发送给无人机控制其避障飞行。