[发明专利]车辆周视点云的生成方法、深度估计模型训练方法及装置

权利要求书

1.一种车辆周视点云的生成方法，其中，所述方法包括：

确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；

确定所述多幅同步帧图像各自的深度信息；

根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；

基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。

2.根据权利要求1所述的方法，其中，所述方法还包括：

从所述多个视角中确定出第一视角以及与所述第一视角相邻的第二视角；

确定所述第一视角与所述第二视角之间的重叠深度信息；

针对所述重叠深度信息，对所述重叠深度信息进行去重处理。

3.根据权利要求2所述的方法，其中，所述确定所述第一视角及第二视角之间的重叠深度信息，包括：

将所述第一视角与第二视角之间具有相同像素值的图像的深度信息确定为所述第一视角与第二视角的重叠深度信息。

4.根据权利要求2所述的方法，其中，所述针对所述重叠深度信息，对所述重叠深度信息进行去重处理，包括：

基于所述第一视角对应的深度信息、所述第一视角对应的图像采集装置与所述第二视角对应的图像采集装置的外参，对所述第一视角的图像进行图像重投影，以得到所述第二视角的变换图像；

基于所述第二视角对应的深度信息、所述第二视角对应的图像采集装置与所述第一视角对应的图像采集装置的外参，对所述第二视角的图像进行图像重投影，以得到所述第一视角的变换图像；

确定所述第一视角的变换图像与所述第二视角的变换图像的像素距离是否在预设范围内；

删除所述重叠深度信息中的、所述像素距离不在预设范围内的像素。

5.根据权利要求1所述的方法，其中，所述根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据，包括：

对所述多个视角中任一视角对应的图像采集装置的内参、帧同步图像和深度信息进行矩阵乘法运算，生成该视角对应的点云数据。

6.一种深度估计模型训练方法，其中，包括：

从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；

确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；

通过深度估计神经网络确定所述第一帧图像的深度信息；

根据所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数，确定所述第一帧图像的重构图像；

基于所述第一帧图像及所述重构图像，训练所述深度估计神经网络。

7.根据权利要求6所述的方法，其中，根据所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数，确定所述第一帧图像的重构图像，包括：

确定所述第一视频流的图像采集装置的内参；

基于所述图像采集装置的内参确定所述图像采集装置的预设采集参数；

基于所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数进行逆投影成像运算，确定所述第一帧图像的第一重构图像。

8.一种车辆周视点云的生成装置，包括：

第一确定模块，用于确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；

第二确定模块，用于确定所述多幅同步帧图像各自的深度信息；

第一点云模块，用于根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；

第二点云模块，用于基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。