[发明专利]车辆周视点云的生成方法、深度估计模型训练方法及装置

说明书

本申请公开了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。其中，一种车辆周视点云的生成方法，该方法包括：确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；确定所述多幅同步帧图像各自的深度信息；根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。本申请实施例仅依靠图像采集装置(例如，相机)的自监督生成周视点云，无需部署激光雷达，部署成本低，图像采集装置受天气、空气等影响小，采集的图像更清晰，最终确定的点云数据更准确。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。

背景技术

在自动驾驶中，智能车辆的周视点云可以表征出其周围环境的几何结构和深度信息。目前，通过周视点云方式实现智能车辆的3D(3-Dimension)感知已成为主流。相关技术中，主要采用激光雷达获取智能车辆的点云信息，由于其能直接提供一个3D的场景而被广泛应用。但是，采用激光雷达获取点云信息，也有较多缺点：例如激光雷达部署成本较高，探测距离有限，且受天气、空气等环境因素影响较大。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。

根据本申请的第一个方面，提供了一种车辆周视点云的生成方法，所述方法包括：

确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；

确定所述多幅同步帧图像各自的深度信息；

根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；

基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。

根据本申请的第二个方面，提供了一种深度估计模型训练方法，其中，包括：

从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；

确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；

通过深度估计神经网络确定所述第一帧图像的深度信息；

根据所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数，确定所述第一帧图像的重构图像；

基于所述第一帧图像及所述重构图像，训练所述深度估计神经网络。

根据本申请的第三个方面，提供了一种车辆周视点云的生成装置，包括：

第一确定模块，用于确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；

第二确定模块，用于确定所述多幅同步帧图像各自的深度信息；

第一点云模块，用于根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；

第二点云模块，用于基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。

根据本申请的第四个方面，提供了一种深度估计模型训练装置，其中，包括：

图像确定模块，用于从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；

帧间运动信息确定模块，用于确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；