[发明专利]一种基于深度补全和图像分割的3D目标检测方法

说明书

本发明涉及一种基于深度补全和图像分割的3D目标检测方法。在第一阶段，将激光点云投影到图像上，得到具有部分像素点深度值的稀疏深度图，利用深度补全网络融合图像和稀疏深度图获得与图像对应的稠密深度图，并利用图像的实例分割结果对深度图进行分割得到检测目标的前景稠密点云，在第二阶段，使用层级的点云特征提取方法提取稠密点云特征，完成检测目标的边框回归。与现有方法相比，本方法融合了图像和激光点云信息，利用图像信息对点云进行增密处理，使用稠密点云对抗点云密度随距离的下降，提高了平均检测精度。利用加密点云对抗点云分布的不均匀，利用图像的实例分割提取障碍物对应的像素区域，明显提高对远距离障碍物的检测效果。

技术领域

本发明涉及自动驾驶领域，尤其是涉及一种基于深度补全和图像分割的3D目标检测方法。

背景技术

目标检测可以分为2D目标检测和3D目标检测，2D目标检测用于识别物体在图像中的位置和大小，但无法获得障碍物与相机之间的距离，对于自动驾驶而言是不够的，因此自动驾驶领域中常使用3D目标检测用于识别障碍物在三维空间中的位置、大小、朝向和类别。另外，图像虽然具有丰富的彩色信息，能够用于检测物体的类别，但缺少深度信息，而激光点云具有准确的深度信息，能够用于检测物体的大小和空间位置，但点云的分辨率较低，在水平方向和垂直方向都远远低于图像的分辨率，使用图像能获得更清晰的障碍物边缘。因此一般使用图像和激光点云融合的方法，同时利用图像的彩色信息和点云的空间信息，完成自动驾驶的障碍物3D目标检测任务。

图像和激光点云融合的3D目标检测任务主要有3种方法：基于点云视图的方法、基于图像和点云特征融合的方法、先图像再点云的两阶段方法。在点云视图的方法中，Chen等人提出MV3D，将点云投影到俯视图和前视图，输入网络和图像融合，得到了融合后的特征用以完成3D目标检测任务，开创了图像和点云视图融合的先河。Ku等人在MV3D的基础上改进，删去了对不影响最终结果精度的反射强度俯视图，并在FPN中引入编码器解码器结构进行高分辨率点云和图片特征提取，将基于视图的方法进一步完善。在特征融合的方法中，Liang等人提出PI-RCNN，使用连续卷积将多传感器的特征直接融合到3D点上，使用点池和注意力聚集的方法使融合特征更具有表现力，大大改善3D对象的检测结果。Huang等人在EPNet中提出LI融合层使用激光点云特征来估计对应图像特征的重要性，减少了图像和激光视角差异造成的遮挡现象以及深度不确定性。在先图像后点云的两阶段方法中，Charles等人在三个阶段使用三个不同的网络从图像和激光点云获得3D检测框，完成3D目标检测任务，该方法首先用图像的2D检测网络获得所有障碍物的图像检测框，在空间中得到相应的视锥体，然后在锥形中使用点云分割网络获得前景和背景，最后对前景点使用边框回归，获得障碍物最终的输出。但是Wang等人认为视锥体内的点云分割既费时又难以获得高精度的结果，因此在图像获得检测框后，将视锥体分割成多个部分提取特征，使用全卷积网络聚合这些特征直接获得了对检测框的预测。

当前的图像和激光融合的3D目标检测方法没有完全统一图像和点云的表示形式，所以融合不够彻底，影响结果的精度，并且忽略了点云分辨率较低且分布不均匀的现象，所以对于远距离的障碍物检测效果较差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度补全和图像分割的3D目标检测方法，以提高3D目标，尤其是远距离障碍物的检测效果。

本发明的目的可以通过以下技术方案来实现：

本发明提供了一种基于深度补全和图像分割的3D目标检测方法，包括如下步骤：

获取图像信息和稀疏深度图；

将所述图像信息和所述稀疏深度图输入基于注意力机制的深度补全网络中，获取稠密深度图；

将所述图像信息输入分割网络中，获取图像分割结果，基于所述稠密深度图以及所述图像分割结果，获取包括前景障碍物信息的稠密点云；