[发明专利]基于伪点云的目标检测方法、装置、电子设备和存储介质

说明书

本公开提供了一种基于伪点云的目标检测方法、装置、电子设备和存储介质。本公开中基于伪点云的目标检测方法包括：获取第一图像的第一伪点云数据，获取第一图像的3D候选框信息，获取3D候选框的第一伪点云数据，根据3D候选框的第一伪点云数据获得3D候选框的第二伪点云数据，根据3D候选框的第二伪点云数据通过特征编码获得3D候选框所对应目标的第一特征向量，使第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致，根据3D候选框所对应目标的第一特征向量获得3D检测框信息。本公开能够提升伪点云目标检测的精度、同时使检测结果更准确。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种基于伪点云的目标检测方法、装置、电子设备和存储介质。

背景技术

基于伪点云的三维(3D)目标检测算法是以伪点云作为输入，通过对伪点云进行特征提取和分析，实现对三维空间中物体位置、大小以及类别信息的预测，在自动驾驶场景以及机器人应用等领域发挥着重要的作用。伪点云一般由RGB图像的深度图转换而来，其数据表现形式上与激光点云保持一致。由于点云的数据形式往往更能表征三维空间中物体的形状信息，现有基于激光点云的3D目标检测算法效果较好，因此目前一些基于视觉图像的3D目标检测算法通常先对图像进行深度估计，得到深度图，再根据深度图将像素点转换到三维空间中得到伪点云，最后基于伪点云来实现3D目标检测。目前，基于伪点云的3D目标检测往往直接采用激光点云的3D目标检测模型实现，伪点云的深度信息不够准确，伪点云与激光点云在分布上也存在差异，导致基于伪点云的目标检测方法准确性较低，精度欠佳，无法满足例如自动驾驶等场景中的障碍物检测需求。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于伪点云的目标检测方法、装置、电子设备和存储介质。

本公开的第一方面提供了一种基于伪点云的目标检测方法，包括：

获取第一图像的第一伪点云数据，所述第一伪点云数据表征的目标特征包括三维3D特征和类别特征；

根据所述第一图像的第一伪点云数据，获取所述第一图像的3D候选框信息；

根据所述第一图像的3D候选框信息和所述第一图像的第一伪点云数据，获取3D候选框的第一伪点云数据；

根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，所述第二伪点云数据表征的目标特征包含所述3D候选框的对应目标的3D特征、类别特征和内部特征；

根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，所述特征编码能够使所述第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致；

根据所述3D候选框所对应目标的第一特征向量获得3D检测框信息。

本公开的第二方面提供了一种基于伪点云的目标检测装置，包括：伪点云获取单元，获取第一图像的第一伪点云数据，所述第一伪点云数据表征的目标特征包括三维3D特征和类别特征；3D目标候选框提取单元，用于根据所述第一图像的第一伪点云数据，获取所述第一图像的3D候选框信息；候选框伪点云单元，用于根据所述第一图像的3D候选框信息和所述第一图像的第一伪点云数据，获取3D候选框的第一伪点云数据；特征关联单元，用于根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，所述第二伪点云数据表征的目标特征包含所述3D候选框的对应目标的3D特征、类别特征和内部特征；特征编码单元，用于根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，所述特征编码能够使所述第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致；检测框获取单元，用于根据所述3D候选框所对应目标的第一特征向量获得3D检测框信息。

本公开的第三方面提供了一种电子设备，包括：存储器，所述存储器存储执行指令；以及，处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述基于伪点云的目标检测方法。