[发明专利]一种图像和激光雷达数据融合的3D目标检测方法和系统

说明书

本发明涉及目标检测领域，具体涉及一种图像和激光雷达数据融合的3D目标检测方法和系统，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框的交点坐标和置信度以及三维立体框的交点坐标和置信度；S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；S3，构建特征矩阵；S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。

技术领域

本发明涉及目标检测领域，具体涉及一种图像和激光雷达数据融合的3D目标检测方法和系统。

背景技术

自动驾驶系统需要对车辆和环境中的其他物体进行精确的三维感知。不同于二维视觉检测，基于三维的目标检测可用于空间路径规划，用于车辆的导航与避障。但是三维目标检测具有更大的挑战性，需要更多的输出参数来指定目标周围面向三维空间的边界框。现有的三维目标检测算法根据传感器不同，大致可以分为视觉、激光点云和多模态融合三类。视觉方法由于其成本低、纹理特征丰富等优势，在目标检测领域中被广泛使用，激光点云数据具有准确的深度信息，并且具有明显的三维空间特征，也被广泛应用于三维目标检测中。但是，激光雷达等方法的输入数据分辨率通常低于图像，这使得对于较远距离的目标检测精度不高。这促使采用多模态传感器融合来提高三维目标检测的精度。

对于图像与激光雷达的融合方法，在自动驾驶车辆目标检测中较为常见。如Frustum PointNet和Frustum ConvNet是二维数据驱动三维目标检测的经典方法，利用经典的二维目标检测方法生成二维矩形框，将三维处理域缩小到图像中相应裁剪区域。但是，对于在三维空间观测到的目标，采用基于二维图像的备选外轮廓框则会失败。此外，其他方法MV3D和AVOD将原始点云投影到鸟瞰图中，形成多通道鸟瞰图图像。利用基于深度融合的二维CNN对鸟瞰图图像和前摄像头图像进行特征提取，进行三维外轮廓框角点回归。这些基于融合的方法的总体性能比仅基于激光雷达的方法差。可能的原因包括:①将原始点云转换为鸟瞰图图像会丢失空间信息。②这些算法中为了融合来自不同传感器模式的特征向量而采用的裁剪和调整大小操作可能会破坏来自每个传感器的特征结构。如相机图像是高分辨率的稠密数据，而激光雷达点云是低分辨率的稀疏数据，融合这两种不同类型的数据结构并非易事。因此，需要设计一种高精度的多源传感器目标检测方法，在保证实时性的前提下，来提高检测的精度。

发明内容

本发明的目的在于提供一种图像和激光雷达数据融合的3D目标检测方法和系统，解决自动驾驶车辆的三维目标检测精度不高的问题。

为解决上述的技术问题，本发明采用的第一种技术方案是：

一种图像和激光雷达数据融合的3D目标检测方法和系统，包括多层卷积特征提取模块以及用于交并比计算和归一化距离的预处理模块，具体步骤如下：S1，通过检测算法计算车辆获取的目标相机图像和激光雷达点云信息，得到目标的二维矩阵框和三维立体框的交点坐标和置信度；S2,将三维立体框的交点坐标投影到图像平面上，通过预处理模块计算二维矩阵框的交并比和归一化距离；S3，通过二维矩阵框和三维立体框的交并比、二维矩阵框的置信度、三维立体框的置信度和三维立体框顶部距离地面的归一化值构建特征矩阵；S4，将特征矩阵代入到多层卷积特征提取模块，并且通过非极大抑制操作得到最后的三维目标坐标信息。