[发明专利]基于双目视觉和深度学习的车辆避障方法与电子设备

说明书

本发明公开了一种基于双目视觉和深度学习的车辆避障方法：获得车辆前方的RGB图；获取车辆前方的深度信息图；预测得到可行驶区域分割结果；信息融合优化可行驶区域；摒除可行驶区域部分的深度信息，生成深度障碍主视图；获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图；对鸟瞰障碍散点图进行密度聚类，去除噪声；对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域；通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图；使用动态窗口法结合用于路径规划的地图进行避障路径规划；根据避障路径轨迹计算期望速度与期望打角并下发控制系统。本发明还提供了相应的电子设备。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于双目视觉和深度学习的车辆避障方法。

背景技术

导航是自动驾驶决策系统中最重要的基础功能之一，也是环境感知和车辆控制之间重要的的桥梁纽带，它决定了车辆如何利用环境信息，以安全到达目的地为目标做出科学的判断。更具体的，导航又可分为全局导航和局部导航。

全局导航的主流方法是基于GPS等定位卫星获取位置信息，利用全局路径规划算法综合考虑路况、路径长度等条件综合规划出的车辆由起点行驶到终点的道路。其目的是规划宏观上的行车路径，识别车体位置并对车行进的大方向做引导，为车的行为决策添加浅层约束。

局部导航可分为局部引导和局部避障，局部引导技术可以通过高精度地图配合三维建图等方式定位车辆位置、通过车道线检测识别车道线等技术手段，使得小车在正常行车状态下沿着既定道路行驶。

局部避障技术则是自动驾技术中的重难点之一，也是行车安全的重要保障，不同于前两者对于精度和召回率的较低要求，局部避障要求小车在面对有障碍物遮挡的复杂路况时能够迅速、及时的做出响应，使得小车能够自动躲避障碍物向安全区域行驶，其关键步骤在于识别障碍物，合理规划路线，根据规划路径向小车下达指令等。

已有的解决方案通常是基于激光雷达SLAM建图完成对车体周围环境立体模型的构建，并识别出其中的障碍信息。然而激光雷达造价高，成本负担大，且大多数情况下依然需要对建图的结果中安全/危险区域进行后处理筛选/比对。同时，实时建图对于算力的要求较为严格，普通的嵌入式开发板并不能提供建图所需的算力，实时性较差。因此，基于纯视觉感知进行避障作为另一种方案被提出。双目摄像头测量深度是一项较为成熟的技术，其基本原理来源于人眼的双目视觉效应，由于人的双眼位置不同，所以捕捉到的画面也有轻微的不同，大脑可以根据同一物体在双眼成像画面中的位置不同来判断物体的远近，双目摄像机正是利用了这一点，可以对捕获图像的每个像素点计算其深度信息得到深度图。

已有的基于双目摄像头的障碍识别技术有以下问题：传统的地面滤除算法通常复杂并且效果不佳、泛化性差，不能应对上下坡路面，而将地面误识别为障碍会导致车辆运行状态不稳定。若是仅对摄像头与地面水平的视野进行障碍提取，则会丢失很多对低矮障碍的检测信息，生成的避障地图语义信息弱；深度摄像头测距存在误差导致对障碍边缘的位置判断不准确、易被噪声干扰，直接使用会导致障碍误定位等。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双目视觉和深度学习的车辆避障方案，能够规划出合理的路径，使得规划出的路径更加安全可靠，对小目标、低高度的障碍发现效果更显著，可以更好区分路面的可行驶性，路面摒除的鲁棒性更强。

为实现上述目的，按照本发明的一个方面，提供了一种基于双目视觉和深度学习的车辆避障方法，包括：

(1)获得车辆前方一定视场角的RGB图：

(2)通过双目摄像头获取车辆前方一定视场角的深度信息图：

(3)通过深度学习模型预测得到车辆前方视图中的可行驶区域分割结果；

(4)融合深度信息优化可行驶区域，对大面积空缺结合深度信息进行后处理补全，对小面积内孔洞使用OpenCv进行填充；