[发明专利]场景重建方法和装置、电子设备、程序和介质

权利要求书

1.一种场景重建方法，其特征在于，包括：

基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；

根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。

2.根据权利要求1所述的方法，其特征在于，所述多目摄像头包括：双目摄像头。

3.根据权利要求1所述的方法，其特征在于，所述相机姿态信息包括：旋转矩阵和平移向量。

4.根据权利要求1-3任一所述的方法，其特征在于，所述通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息，包括：

通过第一神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息。

5.根据权利要求1-3任一所述的方法，其特征在于，所述通过神经网络，获取所述第一图像序列中运动目标，包括：

通过第二神经网络，对所述第一图像序列中的图像进行运动目标检测和跟踪，获得所述图像中运动目标的物体框，并对运动目标分配目标标识ID；其中，目标ID用于在所述图像序列中唯一标识一个运动目标；

通过所述第二神经网络输出所述图像中运动目标的物体框的位置信息和目标ID。

6.根据权利要求1-3任一所述的方法，其特征在于，所述通过神经网络，获取所述第一图像序列中的道路信息，包括：

通过第三神经网络，对所述第一图像序列中的图像进行物体分割，获得物体分割结果；所述物体分割结果包括所述图像中的至少一个像素是否对应为道路。

7.根据权利要求5所述的方法，其特征在于，根据所述第一图像序列的相机姿态信息、所述深度信息和所述运动目标的位置信息，将所述第一图像序列中的运动目标映射到三维坐标系中，包括：

以所述第一图像序列中的其中一帧图像作为当前图像，根据当前图像中运动目标的物体框的位置信息，将所述物体框中至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；

根据所述物体框中至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述物体框中至少一个像素的像素坐标在三维坐标系中对应的三维坐标。

8.根据权利要求7所述的方法，其特征在于，获取所述物体框中至少一个像素的像素坐标在三维坐标系中对应的三维坐标之后，还包括：

根据所述运动目标的物体框中至少一个像素对应的三维坐标，获取所述运动目标在三维坐标系中的位置信息。

9.根据权利要求8所述的方法，其特征在于，还包括：

根据所述运动目标在三维坐标系中的位置信息，由所述第一图像序列中的所述运动目标的位置，形成所述运动目标的运动轨迹。

10.根据权利要求1-3任一所述的方法，其特征在于，根据所述第一图像序列的相机姿态信息、所述深度信息和所述道路信息，将所述第一图像序列中的道路映射到三维坐标系中，包括：

以所述第一图像序列中的其中一帧图像作为当前图像，根据物体分割结果，将当前图像中属于道路的至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；

根据所述属于道路的至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述属于道路的至少一个像素的像素坐标在三维坐标系中对应的三维坐标。