[发明专利]全景图生成方法及装置、存储介质

说明书

本公开提供了一种全景图生成方法及装置、存储介质，其中，该方法包括：获取与目标场景对应的多张场景图像；将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。本公开通过深度神经网络，可以学习场景图像中的特征，场景图像的数目即使较少，也可以得到较为准确的三维全景图像，在节约了内存的同时，实现了对目标场景进行三维重构的目的，可用性高。

技术领域

本公开涉及图像处理领域，尤其涉及全景图生成方法及装置、存储介质。

背景技术

目前，全景图像在军事、教育、虚拟现实和增强现实等领域中有很重要的研究和应用价值。全景图像的生成是指将一组具有重叠区域的场景图像拼接为一幅包含整个场景信息的全景图像。根据全景图像是否包含场景的深度信息，可以把全景图像分为2D(2Dimension，二维)全景图像和3D(三维)全景图像。3D全景图像包含场景的深度信息，更具有立体感知效应，更具有应用价值。

通过三维重构方法可以展现整个场景的深度信息，但是所需要的图像数量比较多。并且对于一些高光区域，弱纹理区域重构结果含有误差。三维重构占用内存多，很难达到实时的效果，很难迁移到移动设备上。

发明内容

有鉴于此，本公开提供了一种全景图生成方法及装置、存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提供一种全景图生成方法，所述方法包括：

获取与目标场景对应的多张场景图像；

将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；

根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。

可选地，所述根据所述多张场景图像生成柱面全景图像，包括：

根据所述多张场景图像，建立三维柱坐标系；

将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。

可选地，所述根据所述多张场景图像，建立三维柱坐标系，包括：

对所述多张场景图像中每张场景图像进行特征提取，得到多张特征图；

根据所述多张特征图，确定相机在拍摄所述每张场景图像时对应的相机位姿；

根据拍摄所述每张场景图像时对应的所述相机位姿，拟合得到相机对所述目标场景进行拍摄时的运动轨迹；其中，所述运动轨迹与目标图形所包括的弧线重叠；

将所述目标图形的中心位置作为三维柱坐标系的中心位置，在三维空间中建立所述三维柱坐标系。

可选地，所述将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像，包括：

根据所述柱面全景图像对应的预设尺寸，确定将所述三维柱坐标系中的三维柱坐标点映射为二维坐标点的第一映射关系；

根据所述第一映射关系，根据反向投影方式，确定将所述二维坐标点映射为所述三维柱坐标点的第二映射关系；

根据所述第二映射关系，将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。