[发明专利]基于双目视觉和深度学习的车辆避障方法与电子设备

权利要求书

1.一种基于双目视觉和深度学习的车辆避障方法，其特征在于，包括：

(1)获得车辆前方一定视场角的RGB图：

(2)通过双目摄像头获取车辆前方一定视场角的深度信息图：

(3)通过深度学习模型预测得到车辆前方视图中的可行驶区域分割结果；

(4)融合深度信息优化可行驶区域，对大面积空缺结合深度信息进行后处理补全，对小面积内孔洞使用OpenCv进行填充；包括：(4.1)逐行对(2)中获取的深度信息图进行扫描；(4.2)将每一行中被分割为(3)中预测出的可行驶区域的部分的坐标作为索引的深度值加入数组；(4.3)将步骤(4.2)得到的数组去除无效值后取中位数作为画面此行的路面“深度”值；(4.4)根据对不同路况的统计，同时考虑到依据双目视觉计算出的深度图像的误差，将深度信息图中此行深度在容忍深度范围中的部分的坐标作为索引加入可行驶区域分割结果；(4.5)重复步骤(4.1)～(4.4)，将优化后的结果图进行闭操作处理，进而对结果中的孔洞进行填补，对小面积的噪声部分进行去除；

(5)摒除可行驶区域部分的深度信息，生成深度障碍主视图；

(6)通过深度障碍主视图获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图；

(7)对鸟瞰障碍散点图进行密度聚类，去除噪声；

(8)对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域；包括：(8.1)使用欧氏距离变换计算(7)中滤波后的鸟瞰障碍散点图中每个前景点到与其最近背景点的距离；(8.2)设置自适应阈值对步骤(8.1)得到的距离矩阵进行二值化，生成车体坐标系下车前方向水平面的鸟瞰安全行驶区域图；

(9)通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图；

(10)使用动态窗口法结合用于路径规划的地图进行避障路径规划；

(11)根据避障路径轨迹计算期望速度与期望转角并下发控制系统。

2.如权利要求1所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(3)包括：

(3.1)使用语义分割网络PSPNet在BDD100K数据集上进行训练；

(3.2)使用训练好的模型对(1)中获取的RGB图像进行推理，预测得到车辆前方视图中的可行驶区域。

3.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(5)具体为：

将(2)中获取的深度信息图中坐标索引为(4)中后处理过的可行驶区域的部分深度信息设为无穷远，即在映射到三维空间内时不会在考量空间内生成障碍点。

4.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(6)包括：

(6.1)权衡边缘障碍信息损失、深度信息测量结果可靠性与画面畸变，取(5)中生成的深度障碍主视图横向视场角60°，纵向视场角45°的部分，通过标定得到此视场角边界在画面中的像素位置，得到剪裁后的可靠深度信息图；

(6.2)将步骤(6.1)得到的剪裁后的可靠深度信息图中的每个像素点通过计算横、纵向与画面正前方中心的夹角映射到车体坐标系下的车前三维空间中；

(6.3)将步骤(6.2)得到的所有障碍点投影到车体坐标系下的水平面，取前方9m，左右各4.5m形成鸟瞰障碍散点图。

5.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(9)包括：

(9.1)新建空白地图，对(8)中处理后的鸟瞰安全行驶区域图中安全行驶区域的边界进行等间距取样并在地图对应位置设置障碍点，其余地方保留为安全区域；

(9.2)将步骤9.1得到的地图中对应的车辆横向视场角60°以外的部分设为不可达区域。

6.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(10)包括：

(10.1)给定进入局部避障状态的时机和目标点；

(10.2)使用简化改进的动态窗口法进行路径规划，综合考量车辆运动学、安全性、舒适度的路径规划，生成规划路径点集。