[发明专利]一种基于深度学习的自然景观多视图三维重建方法

说明书

本发明提供了一种基于深度学习的自然景观多视图三维重建方法，包括：获取自然景观的多视图图像集，并对多视图图像集中的二维图像进行预处理；构建多尺度特征提取网络，利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；将目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，迭代计算结束之后输出对应的深度图；将得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，根据优化后的最终深度图，构建物体三维模型以得到自然景观的立体视觉图，本发明通过局部区域分割的边缘处理算法优化深度图的边缘，使得到的深度图更完成和精确，且景观模型局部细节精度更高。

技术领域

本发明涉及三维重建技术领域，尤其涉及到一种基于深度学习的自然景观多视图三维重建方法。

背景技术

元宇宙技术是综合虚拟现实、游戏引擎、移动互联网、区块链等为一体的虚实融合场景框架，提供高度沉浸式的交互体验。将元宇宙技术应用于现实的文旅场景，提升文旅产品的创新发展思路，保护文旅数字产品的知识产权，对于旅游产业的发展具有非常重要的理论意义和现实价值。构建虚实融合的自然景观场景，关键技术在于将图像数据的展现方式通过多视图三维重建技术创建仿真的虚拟场景。近年来，三维重建技术通过利用深度摄像设备、红外传感器、激光雷达等对现实世界场景进行深度信息提取并估算，被广泛应用于智能无人驾驶、AR/VR，卫星遥感测绘、娱乐多媒体等应用领域。人工智能技术可通过神经网络模型的高度泛化能力，对多视图二维图像进行特征提取与处理转化，使得三维场景预测估算更为精确和高效。自然场景的三维重建中样本数据采集受到采集设备、自然环境、噪声、遮挡等因素的影响，往往精度不高，对虚拟场景的仿真构建带来了极大的挑战。因此，提升多视图三维重建在自然虚拟场景构建的精确性和效率，并将之应用文旅元宇宙，成为亟需解决的研究难点之一。

多视图立体视觉重建技术是利用多张同一场景的不同视角图像来恢复三维模型的方法。基于深度学习的多视图立体视觉重建，例如经典的MVSNet网络架构，通常会构造一个三维的代价体去回归场景的深度值。利用卷积神经网络进行多视图立体匹配也使得传统的匹配效率整体提升。但由于3D卷积神经网络的深度正则化处理，在大范围和高分辨率场景下，MVSNet还受制于显存资原的限制。传统方法对于镜面反射、纹理等难以处理，重建的完整性较低，并且速度较慢，且自然景观模型重建环境影响因素较大，特征提取不足，参数是提前设计好的无法自适应，只能针对特定场景效果、普适性不强。

综上所述，如何克服上述缺陷，是本领域技术人员急需解决的问题。

发明内容

本方案针对上文提到的问题和需求，提出一种基于深度学习的自然景观多视图三维重建方法，其由于采取了如下技术方案而能够解决上述技术问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的自然景观多视图三维重建方法，包括以下步骤：步骤Step1:获取自然景观的多视图图像集，并对所述多视图图像集中的二维图像进行预处理；

步骤Step2:构建多尺度特征提取网络，通过训练集对所述多尺度特征提取网络进行训练，得到训练好的多尺度特征提取网络，并利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；

步骤Step3:将得到的目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，模型迭代计算结束之后输出对应的深度图；

步骤Step4:将步骤Step3得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，并根据所述优化后的最终深度图，构建物体三维模型，以得到自然景观的立体视觉图。

进一步地，所述预处理包括：

对所述多视图图像集中的二维图像进行关键重建区域分割，所述多视图图像集包括源图像及其对应的多个视角的参考图像；

结合自然景观环境影响因素进行特征增强或遮挡修复。