[发明专利]多阶段无监督学习的三维重建方法、装置和电子设备

说明书

本发明提供一种多阶段无监督学习的三维重建方法、装置和电子设备，包括：对于待重建物体的多视点图像中的任一视点，在前一阶段多视点图像对应的尺度特征图合成的深度图不满足预设条件时，采用当前阶段多视点图像对应的尺度特征图更新所述深度图；其中，下一阶段对应的尺度特征图的分辨率高于前一阶段对应的尺度特征图；将所有视点的深度图进行融合确定所述待重建物体的三维点云。本发明提供的方法，避免了监督式深度学习方式对数据过于依赖的问题，增强模型的泛化性，有利于广泛应用，且生成的高精度深度图可以保证三维点云融合的准确性和完整性，点云稠密。

技术领域

本发明涉及三维重建技术领域，尤其涉及一种多阶段无监督学习的三维重建方法、装置和电子设备。

背景技术

传统的二维图像的获取和显示技术难以满足观看者日益增长的观赏需求。随着显示技术的革新和算力的提升，对于三维场景信息进行准确高效重建的方法受到了大量的关注。主流的三维场景重建方法主要包括两个流程：根据多视点彩色图像求解对应的多视点深度图，之后对求解的多视点深度图进行聚合，得到三维点云模型。随着深度学习的快速发展，基于深度学习的三维重建方法已经在多个评测平台上超过传统方法。尤其是以无监督学习为代表的三维重建方法，既具有较好的重建性能，又避免了监督学习方法依赖于人工标签数据的问题。无监督学习三维重建方法利用多视图几何约束关系，将深度估计问题转化图像重建问题来训练深度神经网络。

现有的无监督学习三维重建方法受限于计算资源限制，难以生成较高分辨率的深度图，因为现有的三维点云的融合基础是各视点原图基础上的多尺度特征图，因此，使用传统方式融合很难达到原图的分辨率，通常为输入图片分辨率的四分之一。如此，得到的深度图都会由于分辨率低下导致深度结果无法显示和应用。

因此，如何避免现有三维点云融合方法中采用监督式深度学习方式对数据过于依赖，而且融合结果得到的深度图分辨率低下导致深度结果无法良好显示和应用的情况，仍然是本领域技术人员亟待解决的问题。

发明内容

本发明提供一种多阶段无监督学习的三维重建方法、装置和电子设备，用以解决现有三维点云融合方法中采用监督式深度学习方式对数据过于依赖，而且融合结果得到的深度图分辨率低下导致深度结果无法良好显示和应用的缺陷，通过多阶段无监督学习模式，在不同阶段使用不同尺度特征图进行融合形成深度图的过程中，及时检测每一阶段的融合深度图结果是否满足精度要求，如果不满足则继续使用下一阶段更高精度的特征图进行融合直到精度符合要求。避免了监督式深度学习方式对数据过于依赖的问题，增强模型的泛化性，有利于广泛应用，且生成的高精度深度图可以保证三维点云融合的准确性和完整性，点云稠密。

本发明提供一种多阶段无监督学习的三维重建方法，该方法包括：

对于待重建物体的多视点图像中的任一视点，在前一阶段多视点图像对应的尺度特征图合成的深度图不满足预设精度条件时，采用当前阶段多视点图像对应的尺度特征图更新所述深度图；

其中，下一阶段多视点图像对应的尺度特征图的分辨率高于前一阶段多视点图像对应的尺度特征图的分辨率；

将所有视点的深度图进行融合确定所述待重建物体的三维点云。

根据本发明提供的一种多阶段无监督学习的三维重建方法，所述在前一阶段多视点图像对应的尺度特征图合成的深度图不满足预设精度条件时，采用当前阶段多视点图像对应的尺度特征图更新所述深度图，其中，下一阶段多视点图像对应的尺度特征图的分辨率高于前一阶段多视点图像对应的尺度特征图的分辨率，具体包括：

在前一阶段多视点图像对应的前一尺度特征图和前一深度范围确定的前一深度图不满足预设精度条件时，

基于所述前一深度图确定当前深度范围，基于所述当前深度范围和当前阶段多视点图像对应的当前尺度特征图确定当前深度图；

其中，所述当前尺度特征图的分辨率高于所述前一尺度特征图的分辨率。