[发明专利]基于深度学习的实景三维语义重建方法、装置及存储介质

说明书

本申请公开了基于深度学习的实景三维语义重建方法、装置及存储介质，涉及遥感测绘地理信息技术领域，解决了现有技术中多场景标注不准确的问题，该方法包括，获取航拍图像；对航拍图像进行语义分割，确定像素概率分布图；对航拍图像进行运动恢复结构，确定航拍图像的相机位姿；对航拍图像进行深度估计，确定航拍图像的深度图；将像素概率分布图、相机位姿以及深度图进行语义融合，确定三维语义模型；实现了在场景对象较多、堆叠严重等情况下的高精度分割；并且在大规模场景中，深度估计网络性能不受影响，可实现多种场景下进行稳定且准确的估计，且本申请构建的语义三维重建算法较其他传统的三维重建算法提升了计算速度。

技术领域

本申请涉及遥感测绘地理信息技术领域，尤其涉及基于深度学习的实景三维语义重建方法、装置及存储介质。

背景技术

三维重建和场景理解是计算机领域的一个研究热点。具有正确几何结构和语义分割的三维模型在城市规划、自动驾驶、机器视觉等领域至关重要。在城市场景中，语义标签用于可视化建筑物、植被和道路等目标。带有语义标签的三维点云使得三维地图更易于理解，有利于后续的研究和分析。尽管三维语义建模已被广泛研究，但在点云重建过程中，提取语义信息的不同方式常常会导致不一致或错误的结果。相对二维图像，点云数据的语义分割更困难。在缺少三维点云训练数据的情况下，标注点云比标注二维图像更费力。另一个挑战是三维点云所带来的不可避免的噪声，这导致难以精确地知道点云属于哪一类。因此，有必要通过在多个视图上同时估计三维几何语义信息来开发新的语义三维重建方法。

在过去的几年里，许多关于图像语义分割的研究已经通过深度学习技术取得了令人鼓舞的成果。深度学习技术以训练好的神经网络为基础，可以帮助各种图像像素级语义分割。同时，深度学习技术的不仅能够提取图像语义信息，而且对于深度图估计问题的求解具有实际意义。近年来，已有许多基于深度学习的深度图估计方法，为大规模场景生成高精度的三维点云。

但是如何在大规模场景中对物体进行准确的标注是待解决的主要问题。

发明内容

本申请实施例通过提供基于深度学习的实景三维语义重建方法，解决了现有技术中多场景标注不准确的问题，实现了在场景对象较多、堆叠严重等情况下的高精度分割；并且在大规模场景中，深度估计网络性能不受影响，可实现多种场景下稳定且准确的估计。本申请构建的语义三维重建算法较其他传统的三维重建算法提升了计算速度。

第一方面，本申请实施例提供了深度学习的实景三维语义重建方法，该方法包括：

获取航拍图像；

对所述航拍图像进行语义分割，确定像素概率分布图；

对所述航拍图像进行运动恢复结构，确定所述航拍图像的相机位姿；

对所述航拍图像进行深度估计，确定所述航拍图像的深度图；

将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合，确定三维语义模型。

结合第一方面，在一种可能的实现方式中，所述确定像素概率分布图，包括：

对语义分割网络算法进行修改，确定修改后的算法；

采用训练集对所述修改后的算法进行迁移学习，确定所述像素概率分布图。

结合第一方面，在一种可能的实现方式中，所述对所述航拍图像进行运动恢复结构，包括采用SfM算法对所述航拍图像进行运动恢复结构。

结合第一方面，在一种可能的实现方式中，所述对所述航拍图像进行运动恢复结构还包括：得出所述航拍图像的相机参数和深度范围。

结合第一方面，在一种可能的实现方式中，所述确定所述航拍图像的深度图，包括：

采用基于MVSNet生成所述航拍图像的深度图；

使用数据集对所述深度图进行训练，确定训练后的深度图。