[发明专利]基于视觉和激光雷达的智能车辆障碍物识别深度学习方法

说明书

本发明公开了一种基于视觉和激光雷达的智能车辆障碍物识别深度学习方法，解决了直接处理激光雷达点云数据计算量大的问题，本发明方法利用视觉信息，以包络体的方式，剔除了大量对于障碍物检测无用的点云信息，通过联合标定的方法，迅速匹配障碍物在激光雷达中的特征位置及标签，同时，本发明方法考虑了数据的波动，利用均值与方差动态调整包络体尺寸，提高点云信息的利用率，通过将筛选的3D点云数据的映射，增加二维图像中关键点的数量，提高了视觉信息的利用率；本发明方法探测距离远、精度高、可靠性强，可快速准确识别目标类别与特征，能够低成本、低复杂度、高鲁棒性地解决城市复杂工况以及恶劣天气条件下的智能车辆障碍物识别与检测问题。

技术领域

本发明涉及智能驾驶车辆技术环境感知领域，具体是一种基于视觉和激光雷达的智能车辆障碍物识别深度学习方法。

背景技术

随着社会的快速发展和科学技术水平的不断进步，近些年来，人工智能、计算机视觉、智能装备制造等领域取得了长足的进步，智能车辆越来越成为研究的热门发展的重要领域。对于智能车辆而言，其导航系统至关重要，包括：环境感知、自主定位、路径规划以及决策控制等模块。其中，环境感知技术承担着智能车辆获取外界环境信息的重要职责，只有具有完备、准确、快速、可靠的环境感知系统，才能保证智能车辆做出轨迹规划与控制、决策，进而实现安全而稳定的自动驾驶，因此环境感知技术是智能驾驶车辆的其他模块功能正常工作以及实现安全驾驶的要求与前提。

环境感知技术是指通过智能车辆自身携带的传感器或者外部环境传感器辅助的，描述车辆当下行驶工况下周围环境信息的技术，可以依靠单一传感器也可以携带多种传感器同时进行环境感知。目前，行业内研究者在不断提高单一传感器工作能力的同时，考虑到仅仅依靠单一传感器不能够对多种多样的行驶工况进行全方位准确细致的描述，也将大部分精力投入到多传感器信息融合研究领域。结合不同传感器的优缺点，优势互补，进行车辆的环境感知工作。

现有常见的传感器包括视觉传感器和激光雷达传感器。视觉传感器，例如：单目相机、双目相机、RGB-D相机等，具有图像信息丰富、价格成本低，同时随着计算机视觉技术的发展，结合深度学习，可以轻松利用大量的图片样本，提供给深度学习算法，进行模型训练，进而能够准确地识别障碍物，但缺点是：易受天气状况、光照条件等影响，探测距离有限。而激光雷达传感器具有探测距离远、不受光照信息影响的优势，同时由于激光雷达的3D点云数据量巨大，且样本数据难以获得，利用深度学习直接进行激光雷达的障碍物识别较为困难，且难以满足实时性要求。

在申请号为202010380040.9的专利申请中提出了一种基于视觉、激光雷达和毫米波雷达的目标检测方法，主要论述了基于视觉、激光雷达和毫米波雷达的目标检测方法，但该方法过度依赖于任一传感器数据，例如当毫米波雷达数据不可信时整个方法将不能工作，且数据处理繁琐，极易受外界噪声影响。

在申请号为201910846945.8的专利申请中提出了一种应用于智能驾驶车辆上的激光雷达动态物体感知方法，主要论述了利用激光雷达检测智能驾驶车辆行驶环境中动态障碍物的问题，通过激光雷达实时扫描的点云与高精地图中环境3D静态点云做高斯相减结合点云聚类，减少了计算量，提升了精确度，但其单一激光检测受雨天影响严重，鲁棒性不好。

目前大多数技术仅仅考虑如何将视觉传感器和激光雷达传感器这两种传感器的数据进行耦合，进行联合优化，但仍存在下列问题：1)基于激光雷达的深度学习算法较为繁琐，计算量大，难以满足实时性要求；2)视觉传感器所提供的丰富语义信息没有充分利用；3)激光雷达所提供的精确测距信息没有充分利用；4)视觉与雷达融合的方案鲁棒性不强。

发明内容

本发明提出一种基于视觉和激光雷达的智能车辆障碍物识别深度学习方法，以低成本、低复杂度、高鲁棒性地解决现有技术中所存在的问题，达到既能够实现探测距离远、精度高和可靠性强的优点，同时又能够快速准确识别目标类别与特征的效果。

本发明解决上述技术问题所采用的技术方案为：基于视觉和激光雷达的智能车辆障碍物识别深度学习方法，包括以下步骤：