[发明专利]一种摄像头和激光雷达融合的端到端目标检测方法

说明书

本发明公开了一种摄像头和激光雷达融合的端到端目标检测方法，属于多传感器三维感知技术。本发明分别基于图像深度学习网络和激光点云深度学习网络进行特征提取，然后根据不同传感器的特性，通过二维图像检测器对图像数据进行感兴趣区域提取，从而降低了点云稀疏和信息不丰富带来的错检。通过共享图像特征和融合单个点云信息，进而给出精确度更高的三维建议框检测结果。

技术领域

本发明属于多传感器三维感知技术，具体涉及一种摄像头和激光雷达融合的端到端目标检测方法。

背景技术

随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。辅助驾驶与自动驾驶都依赖一个准确的环境感知，而对障碍物三维建议框的检测则是道路场景分析与环境感知中的重要元素。通过障碍物三维建议框的提取，车辆可以实时获取周围车辆、非机动车、行人等障碍物的位置、基本轮廓、朝向等信息，作为障碍物轨迹预测和车辆自身行为规划的重要依据之一。

在对环境中的障碍物目标进行三维建议框提取的过程中，障碍物感知使用的传感器十分多样，包括摄像头、毫米波雷达、激光雷达等等。而为了提高精度与可靠性，经常需要结合多种传感器的结果，共同做出判断。本发明主要讨论应用广泛的摄像头与测量精度极高的激光雷达的融合。摄像头与人眼原理类似，利用像素信息能准确地提取障碍物在图片中的二维建议框，但无法精确的估计障碍物在三维空间的位置；激光雷达利用激光感知障碍物的存在并给出精确的三维点云信息，有利于提升障碍物在三维空间的检测精度，但由于点云信息的稀疏以及语义表征能力较弱，无法进行准确的分类。

现有的融合检测方案仅基于二维图像信息和投影后的点云信息，例如利用卷积神经网络分别对图像和投影后的点云进行特征提取，并只在地面以上一定距离针对车辆等信息生成三维锚框，在融合特征的基础上对三维锚框进行回归。这些方案都可以实现多传感器的融合，但因为只是将三维的激光点云数据经过投影等同为类似图像数据进行融合，丢失了点云信息的空间维度，并且一定程度上影响了模型的二维检测能力。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种摄像头和激光雷达融合的端到端目标检测方法，以提高对目标的三维检测精度。

本发明的摄像头和激光雷达融合的端到端目标检测方法，通过摄像头和激光雷达同时对待检测区域进行数据采集，并执行下列步骤：

步骤1：对摄像头采集的图像数据进行图像预处理，使得预处理后的图像与预设的图像特征提取网络的输入相匹配；

将预处理后的图像输入到预设的图像特征提取网络，得到图像特征；

其中图像特征提取网络包括但不限于卷积神经网络，优选残差式网络结构。

步骤2：对图像特征进行目标检测处理：

基于所提取的图像特征，在待检测图像帧中确定各类待检测目标的二维建议框(候选目标检测框)，并对二维建议框进行是否为检测目标的二分类处理；

步骤3：对步骤2得到的二维建议框进行感兴趣区域提取处理：

基于预设的第一筛选阈值，将分类伪概率低于第一筛选阈值的二维建议框删除；即滤除多目标检测输出中，各二维建议框所属的检测目标类别的分类伪概率低于第一筛选阈值的二维建议框；

对于每个检测目标类别的各二维建议框，若当前还存在非感兴趣区域的二维建议框，则选取分类伪概率最大的二维建议框作为感兴趣区域并保存，同时将与当前感兴趣区域的IOU值超过第二阈值的二维建议框删除；

继续对每个检测目标类别的各二维建议框进行感兴趣区域的提取，各检测目标类别不存在非感兴趣区域的二维建议框；

其中，A、B分别表示两个矩形框，对应感兴趣区域和待判别的二维建议框，area(·)表示矩形框的面积；

并对提取出的感兴趣区域进行面积的扩充处理；