[发明专利]全景图生成方法及装置、存储介质

权利要求书

1.一种全景图生成方法，其特征在于，所述方法包括：

获取与目标场景对应的多张场景图像；

将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；

根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多张场景图像生成柱面全景图像，包括：

根据所述多张场景图像，建立三维柱坐标系；

将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多张场景图像，建立三维柱坐标系，包括：

对所述多张场景图像中每张场景图像进行特征提取，得到多张特征图；

根据所述多张特征图，确定相机在拍摄所述每张场景图像时对应的相机位姿；

根据拍摄所述每张场景图像时对应的所述相机位姿，拟合得到相机对所述目标场景进行拍摄时的运动轨迹；其中，所述运动轨迹与目标图形所包括的弧线重叠；

将所述目标图形的中心位置作为三维柱坐标系的中心位置，在三维空间中建立所述三维柱坐标系。

4.根据权利要求2所述的方法，其特征在于，所述将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像，包括：

根据所述柱面全景图像对应的预设尺寸，确定将所述三维柱坐标系中的三维柱坐标点映射为二维坐标点的第一映射关系；

根据所述第一映射关系，根据反向投影方式，确定将所述二维坐标点映射为所述三维柱坐标点的第二映射关系；

根据所述第二映射关系，将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。

5.根据权利要求1所述的方法，其特征在于，所述柱面全景图像包括不同深度值对应的柱面图；所述根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像，包括：

根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像；

根据所述不同深度值对应的所述深度概率图像，确定所述目标场景对应的所述全景深度图像；

根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图像，确定所述目标场景对应的所述全景颜色图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像，包括：

将所述不同深度值对应的柱面图输入预先训练好的深度预测子网络，得到所述不同深度值对应的所述深度概率图像；

将所述不同深度值对应的柱面图输入预先训练好的颜色预测子网络，得到所述不同深度值对应的全景颜色图像。

7.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的所述深度概率图，生成所述目标场景对应的所述全景深度图像，包括：

确定所述不同深度值对应的深度概率图的期望值，得到所述目标场景对应的所述全景深度图像。

8.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图，生成所述目标场景对应的所述全景颜色图像，包括：

对所述不同深度值对应的所述深度概率图和所述不同深度值对应的全景颜色图进行加权求和，得到所述目标场景对应的所述全景颜色图像。