[发明专利]基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法

说明书

本发明公开了基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法，包括以下步骤：步骤1：获取当前帧点云数据和图像数据；步骤2：将点云输入点云特征提取网络，将当前帧点云转换为鸟瞰图(BEV)特征。步骤3：将图像数据输入图像特征提取网络，得到多尺度图像特征。步骤4：将鸟瞰图特征输入鸟瞰图检测模块，得到初步的三维目标检测结果。步骤5：将步骤2和步骤3输出的点云、图像特征和步骤4的输出的初步检测结果送入交错融合模块，从而自适应融合图像特征和点云特征。利用融合后的结果微调步骤4中的初步检测结果。与现有结果相比，本发明通过交错融合架构实现了模式的互补性，能够在各种激光雷达的噪声的情况下，表现出较好的鲁棒性，并且拥有更强的召回能力，从而提高检测精度。

技术领域

本发明涉及计算机视觉与模式识别技术，具体涉及一种基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法。

背景技术

随着传感器技术的快速发展以及深度学习的快速发展，基于多模态融合的三维目标检测技术取得了显著进步。基于单一传感器的目标检测方法由于传感器自身的成像的特点在复杂的日常应用场景下均存在一定的缺陷。光学相机能够在光照良好的情况下提供密集且丰富的实例级目标信息，能够反应物体的纹理和颜色。但是在光线条件不佳的条件下时，如夜晚或雨雾天气时，光学相机的成像效果会急剧下降。因此在该条件下，基于纯视觉的三维目标检测模型通常达不到令人满意的检测精度。激光雷达是一种可以捕捉物体和空间三维表面的激光传感器技术，与光学相机系统相比具有可获得高精度距离信息且不受光照条件限制的优势。但是相较于标准的RGB图像结构，激光雷达的点云数据具有稀疏性、无序性的特点。因此适合传统二维目标检测的卷积神经网络无法有效地提取点云特征。

为了得到精准的三维目标检测结果，文献(Vora S,Lang A H,Helou B,etal.Pointpainting:Sequential fusion for 3d object detection[C]//Proceedings ofthe IEEE/CVF conference on computer vision and pattern recognition.2020:4604-4612.)提出使用RGB图像的特征作为先验，找到点云数据和RGB图像之间的关联。该方法首先通过二维图像语义分割网络得到图像空间中的语义分割结果，然后利用相机投影矩阵将这些分割结果投影到三维空间中用于补充点云特征，最后送入基于点云的三维目标检测器得到检测结果。文献(Xu S,Zhou D,Fang J,et al.Fusionpainting:Multimodal fusionwith adaptive attention for 3d object detection[C]//2021IEEE InternationalIntelligent Transportation Systems Conference(ITSC).IEEE,2021:3047-3054.)分别利用图像和点云的语义分割网络得到两者的分割的结果作为先验，通过自适应融合模块，将稠密的图像信息融入点云信息中得到检测结果，改善了由于分割网络造成的边界模糊的问题。这类基于语义分割结果融合图像和点云的目标检测方法虽然提高了检测精度，但是该类方法过于依赖点云特征且没有充分利用稠密的图像特征，若点云信息存在噪声，则会对整体结果造成较大的影响。为了增强图像特征在多模态融合模型中的比重，本发明提出使用一种交错融合的多模态融合架构。

发明内容

发明要克服现有技术中过于依赖点云特征的缺点，提出一种基于自动驾驶场景下的多模态融合鲁棒三维目标检测方法。

本发明采用旋转激光雷达和环绕车辆的6个光学相机作为传感器。分别采集三维点云信息和RGB图像信息。从而有效地感知车辆周围环境物体的几何信息，它能够自适识别不同道路场景中的目标，如：行人、路障、汽车、工程车和公交车等常见目标。

本发明的基于自动驾驶场景下的多模态融合鲁棒三维目标检测方法，包括如下步骤：

步骤1：获取当前帧点云数据和图像数据；