[发明专利]一种基于深度补全和图像分割的3D目标检测方法

权利要求书

1.一种基于深度补全和图像分割的3D目标检测方法，其特征在于，包括如下步骤：

获取图像信息和稀疏深度图；

将所述图像信息和所述稀疏深度图输入基于注意力机制的深度补全网络中，获取稠密深度图；

将所述图像信息输入分割网络中，获取图像分割结果，基于所述稠密深度图以及所述图像分割结果，获取包括前景障碍物信息的稠密点云；

针对所述稠密点云逐层提取局部特征，通过聚合获取障碍物点云特征，通过边框回归获取障碍物边界框，实现3D目标检测。

2.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的稀疏深度图的获取包括如下步骤：

获取激光点云信息并投影到图像平面，通过0填充获取所述稀疏深度图。

3.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的深度补全网络包括两个并行设置的Transfomer子网络，每个针对每个Transformer子网络，均包括多个自注意力单元。

4.根据权利要求3所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的自注意力单元的输出为：

其中，Attention(Q,K,V)为自注意力单元的输出，Q、K、V分别为注意力机制中的查询矩阵、键矩阵和值矩阵，()^T表示转置，d_k为查询矩阵K的长度，B为块之间的相对位置偏移矩阵。

5.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，在所述的深度补全网络的训练过程中，损失函数为非对称的AMAE函数。

6.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的分割网络包括Mask R-CNN。

7.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的稠密点云的获取包括如下步骤：

通过将所述图像信息输入分割网络中，获取包括图像中的障碍物的信息的图像分割结果，使用所述图像分割结果对所述稠密深度图进行分割，基于图像像素深度反投影回3D空间内，获取所述稠密点云。

8.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的障碍物点云特征的获取过程包括如下步骤：

将所述稠密点云转换到质心坐标系；

通过最远点采样选取关键点，实现点云的降采样，选取关键点附近的点，使用PointNet提取区域内空间特征和色彩特征作为局部特征，重复本步骤对每一层进行局部特征提取；

通过聚合所有的局部特征得到所述障碍物点云特征。

9.根据权利要求8所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，在最远点采样和关键点附近的点选取的过程中，使用二维的图像像素坐标和像素距离进行采样/选取。

10.根据权利要求1所述的一种基于深度补全和图像分割的3D目标检测方法，其特征在于，所述的障碍物边界框的获取包括如下步骤：

将所述障碍物点云特征输入全连接网络中，获取障碍物的大小、位置和朝向信息。