[发明专利]三维位置预测方法、装置、设备以及存储介质

权利要求书

1.一种三维位置预测方法，包括：

获取路侧相机拍摄的二维图像，以及所述路侧相机的地面深度图，其中，所述地面深度图存储所述二维图像中像素点对应的地面点与所述路侧相机的距离，所述二维图像包括位于所述地面点上的障碍物的图像；

从所述二维图像中提取所述障碍物的表面特征，以及从所述地面深度图中提取所述障碍物的深度特征；

将所述表面特征与所述深度特征融合，生成融合特征；

基于所述融合特征，预测所述障碍物的三维位置。

2.根据权利要求1所述的方法，其中，双流神经网络包括第一分支和第二分支；以及

所述从所述二维图像中提取所述障碍物的表面特征，以及从所述地面深度图中提取所述障碍物的深度特征，包括：

将所述二维图像输入至所述第一分支，输出所述表面特征，以及将所述地面深度图输入至所述第二分支，输出所述深度特征。

3.根据权利要求1所述的方法，其中，所述基于所述融合特征，预测所述障碍物的三维位置，包括：

基于所述融合特征，预测所述障碍物的中心点的参考三维坐标，其中，所述参考三维坐标的横坐标和纵坐标是所述障碍物的中心点在所述二维图像上的投影坐标，所述参考三维坐标的竖坐标是所述障碍物的中心点在所述路侧相机的相机坐标系的竖轴上的坐标；

基于所述参考三维坐标和所述路侧相机的相机内参，生成所述障碍物的中心点的真实三维坐标。

4.根据权利要求3所述的方法，其中，所述基于所述融合特征，预测所述障碍物的中心点的参考三维坐标，包括：

利用预设网络层对所述融合特征进行处理，得到所述障碍物的中心点的参考三维坐标。

5.根据权利要求1所述的方法，其中，所述获取所述路侧相机的地面深度图，包括：

对所述路侧相机进行标定，得到所述路侧相机的相机内参和相机外参；

基于高精地图中所述地面点的信息，拟合得到世界坐标系下的地面方程；

基于所述路侧相机的相机外参和所述世界坐标系下的地面方程，得到所述路侧相机的相机坐标系下的地面方程；

基于所述相机内参和所述路侧相机的相机坐标系下的地面方程，计算所述地面深度图。

6.一种三维位置预测装置，包括：

获取模块，被配置成获取路侧相机拍摄的二维图像，以及所述路侧相机的地面深度图，其中，所述地面深度图存储所述二维图像中像素点对应的地面点与所述路侧相机的距离，所述二维图像包括位于所述地面点上的障碍物的图像；

提取模块，被配置成从所述二维图像中提取所述障碍物的表面特征，以及从所述地面深度图中提取所述障碍物的深度特征；

融合模块，被配置成将所述表面特征与所述深度特征融合，生成融合特征；

预测模块，被配置成基于所述融合特征，预测所述障碍物的三维位置。

7.根据权利要求6所述的装置，其中，双流神经网络包括第一分支和第二分支；以及

所述提取模块进一步被配置成：

将所述二维图像输入至所述第一分支，输出所述表面特征，以及将所述地面深度图输入至所述第二分支，输出所述深度特征。

8.根据权利要求6所述的装置，其中，所述预测模块包括：

预测子模块，被配置成基于所述融合特征，预测所述障碍物的中心点的参考三维坐标，其中，所述参考三维坐标的横坐标和纵坐标是所述障碍物的中心点在所述二维图像上的投影坐标，所述参考三维坐标的竖坐标是所述障碍物的中心点在所述路侧相机的相机坐标系的竖轴上的坐标；

生成子模块，被配置成基于所述参考三维坐标和所述路侧相机的相机内参，生成所述障碍物的中心点的真实三维坐标。

9.根据权利要求8所述的装置，其中，所述预测子模块进一步被配置成：

利用预设网络层对所述融合特征进行处理，得到所述障碍物的中心点的参考三维坐标。