[发明专利]场景重建方法和装置、电子设备、程序和介质

说明书

本发明实施例公开了一种的场景重建方法和装置、电子设备、程序和介质，其中，方法包括：基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。本发明实施例可提高了场景重建的准确性和速度。

技术领域

本发明涉及计算机视觉技术，尤其是一种场景重建方法和装置、电子设备、程序和介质。

背景技术

场景重建是指对物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的模型的关键技术。例如，在自动驾驶的应用场景中，场景重建包括道路重建、行人、汽车轨迹还原和目标定位。道路重建任务指给出摄像镜头拍摄的当前帧图片，将图片中的道路信息映射到三维坐标系中。行人、汽车轨迹还原任务指在一个双目图片序列中，还原出行人和汽车的运动轨迹。

发明内容

本发明实施例提供一种用于进行场景重建的技术方案。

根据本发明实施例的一个方面，提供的一种场景重建方法，包括：

基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；

根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。

可选地，在本发明上述各方法实施例中，所述多目摄像头包括：双目摄像头。

可选地，在本发明上述各方法实施例中，所述相机姿态信息包括：旋转矩阵和平移向量。

可选地，在本发明上述各方法实施例中，所述通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息，包括：

通过第一神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息。

可选地，在本发明上述各方法实施例中，所述通过神经网络，获取所述第一图像序列中运动目标，包括：

通过所述第二神经网络，对所述第一图像序列中的图像进行运动目标检测和跟踪，获得所述图像中运动目标的物体框，并对运动目标分配目标标识ID；其中，所述目标ID用于在所述图像序列中唯一标识一个运动目标；

通过所述第二神经网络输出所述图像中运动目标的物体框的位置信息和目标ID。

可选地，在本发明上述各方法实施例中，所述通过神经网络，获取所述第一图像序列中的道路信息，包括：

通过所述第三神经网络，对所述第一图像序列中的图像进行物体分割，获得物体分割结果；所述物体分割结果包括所述图像中的至少一个像素是否对应为道路。

可选地，在本发明上述各方法实施例中，根据所述第一图像序列的相机姿态信息、所述深度信息和所述运动目标的位置信息，将所述第一图像序列中的运动目标映射到三维坐标系中，包括：

以所述第一图像序列中的其中一帧图像作为当前图像，根据当前图像中运动目标的物体框的位置信息，将所述物体框中至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；