[发明专利]一种基于改进ssd目标检测网络的无人机规避算法

摘要

本发明公开一种基于改进ssd目标检测网络的无人机规避算法，1，制作障碍物的双目视角图像数据集；2，根据标定数据集建立目标检测模型；3，构建ssd目标检测网络，并使用数据集对网络参数进行训练；4，将测试集中的，每一对障碍物图片传入到训练好的ssd检测网络，输出神经网络预测的类别标签和位置标签；5，利用不同视角检测到障碍物的位置进行双目测距得到障碍物距离；6，将障碍物分类和距离反馈到无人机驾驶系统控制其自动避让。本发明结合了ssd目标检测算法和双目测距图像算法，使得结合后的检测结果既有效的得出了障碍物的种类，同时精确的计算出了障碍物在世界坐标位置中与无人机的矢量距离。

主权项

1.一种基于改进ssd目标检测网络的无人机规避算法，其特征在于，包括：(1)：制作训练集和测试集，设定目标检测模型和双目测距对应的测试集：从VOC、COCO、SOGOU数据集中抽取出障碍物相关的数据集作为目标检测数据集，其中5721张图片作为为训练集，取出500张图片作为测试集；从真实场景中固定两台摄像机的相对距离，拍摄成对障碍物图片200张，并测定障碍物与摄像机连线的矢量距离作为图片标签，将图片对和矢量距离标签对应制作为双目测距对应的测试集；(2)：根据标定数据集建立目标检测模型：(2a)：将每个图片中可能包含障碍物作为检测目标，记为{vj}；将每个障碍物的预测框坐标记为[xi,yi]；(2b)：在生成预测框阶段，目标检测模型先将所有经过卷积得到的预测偏移信息和与之对应的先验框进行解码，计算出预测框，解码公式为：x_i＝(t_x×w_a)+x_ay_i＝(t_y×h_a)+y_a式中，[x_a,y_a]代表先验框坐标，[w_a,h_a]代表先验框的宽高，t_x、t_y为预测偏移信息；(2c)：预测框分类阶段，对每个预测框的置信度和不同障碍物类别的置信度对比，得出最高的置信度所述分类作为本预测框类别；(2d)：将剩下的预测框进行NMS处理；(3)：构建并训练ssd目标检测模型，具体步骤为：(3a)：在原来ssd前置网络VGG‑16中，将conv3_ci，conv5_ci，conv9_ci，conv11_ci，conv12_ci作为预测特征层；(3b)：用空洞卷积操作对conv3_ci，conv5_ci进行下采样操作，生成特征图3、5与conv9_ci的特征图9具有相同的特征图尺度；(3c)：利用反卷积操作对conv11_ci，conv12_ci上采样操作，生成特征图11、12与conv9_ci的特征图9具有相同的特征图尺度；(3d)：将步骤(3b)所述特征图3、5与步骤(3c)的特征图11、12和特征图9进行连接，并加入BN层(batch normalization layer)进行归一化处理,在经过1x1卷积核进行降维生成最终feature map；(3e)：利用步骤(1)生成目标检测数据集对ssd目标检测网络模型进行训练；(4)：将测试集中的，每一对障碍物图片传入到训练好的ssd检测网络，输出神经网络预测的类别标签和位置标签；(5)：利用不同视角检测到障碍物的位置进行双目测距得到障碍物距离，其中双目测距的计算步骤为：(5a)：世界坐标和摄像机坐标的转换，假设某点在世界坐标系中的坐标为[X_w,Y_w,Z_w]，则摄像机坐标系和世界坐标系的转换公式为：式中，[u,v,1]^T为点在图像坐标系中的坐标；式中，[X_c,Y_c,Z_c,1]^T为点在摄像机坐标系中的坐标，K为摄像机内参数矩阵；(5b)：由两个相机的呈像像面坐标计算真实世界坐标：式中，[X,Y,Z]为目标像素点的世界真实坐标位置；式中，通过联立方程可求解[X,Y,Z]；(6)：将障碍物分类和矢量距离反馈到无人机驾驶系统控制其自动避让。