[发明专利]一种基于深度学习的多视图三维重建方法、系统及设备

说明书

本发明公开了一种基于深度学习的多视图三维重建方法、系统及设备，获取多张多视角图像，对多张多视角图像进行多尺度语义特征提取，获得多种尺度的特征图；对多种尺度的特征图进行多尺度语义分割，获得多种尺度的语义分割集；通过有监督的三维重建方法对多张多视角图像进行重建，获得初始深度图；基于多种尺度的语义分割集和初始深度图，获得多种尺度的深度图；构建多种尺度的点云集；对多种尺度的点云集采用不同的半径滤波进行优化，获得优化后的点云集；基于优化后的点云集进行不同尺度的重建，获得不同尺度的三维重建结果；将每种尺度的三维重建结果进行拼接融合。本发明能够充分利用各个尺度的语义信息，能够提高三维重建的精确度。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于深度学习的多视图三维重建方法、系统及设备。

背景技术

深度学习的三维重建方法是利用计算机搭建神经网络, 通过大量的图像数据与三维模型数据进行训练, 学习图像至三维模型的映射关系, 从而实现对新的图像目标进行三维重建。与传统的诸如3DMM方法（3D Morphable Model）和SFM方法（Structure fromMotion）相比，深度学习的三维重建方法能够将学习到的一些全局的语义信息引入图像重建，从而在一定程度上克服传统重建方法在弱光照、弱纹理区域重建不良的局限性。

目前的深度学习三维重建方法大多基于单一尺度，即对于图像中不同大小的物体采取同样的方式进行重建。单尺度的重建在一些场景复杂度较低、细小物体较少的环境下能保持较好的重建精度和速度。但在一些场景复杂、各种尺度的物体较多的环境下容易出现小尺度物体重建精度不足的问题。并且只利用了高层特征，图像的低层细节信息没有得到充分利用。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的多视图三维重建方法、系统及设备，能够充分利用各个尺度的语义信息，能够提高三维重建的精确度。

第一方面，本发明实施例提供了一种基于深度学习的多视图三维重建方法，所述基于深度学习的多视图三维重建方法包括：

获取多张多视角图像，对多张所述多视角图像进行多尺度语义特征提取，获得多种尺度的特征图；

对所述多种尺度的特征图进行多尺度语义分割，获得多种尺度的语义分割集；

通过有监督的三维重建方法对多张所述多视角图像进行重建，获得初始深度图；

基于所述多种尺度的语义分割集和所述初始深度图，获得多种尺度的深度图；

基于所述多种尺度的深度图，构建多种尺度的点云集；

根据所述点云集的尺度，对所述多种尺度的点云集采用不同的半径滤波进行优化，获得优化后的点云集；

基于所述优化后的点云集进行不同尺度的重建，获得不同尺度的三维重建结果；

将每种尺度的三维重建结果进行拼接融合，获得最终的三维重建结果。

与现有技术相比，本发明第一方面具有以下有益效果：

本方法通过对多张多视角图像进行多尺度语义特征提取，能够提取不同尺度的特征，能获得多种尺度的特征图，并对多种尺度的特征图进行多尺度语义分割，聚合各个尺度的语义信息，丰富了各个尺度的语义信息；通过利用多种尺度的语义分割集中的各个尺度的语义信息分别对初始深度图进行语义引导，从而不断修正初始深度图，获得准确的多种尺度的深度图；本方法用获得的多种尺度的深度图构建多种尺度的点云集，根据点云集的尺度采用不同的半径滤波进行优化，优化后的点云集用于不同尺度的重建，再将三维重建结果融合以获得更加精确的三维重建结果。因此，本方法能够充分利用各个尺度的语义信息，能够提高三维重建的精确度。

根据本发明的一些实施例，所述对多张所述多视角图像进行多尺度语义特征提取，获得多种尺度的特征图，包括：