[发明专利]基于3D-R2N2的光学建筑目标三维重建方法

说明书

本发明公开了基于3D‑R2N2的光学建筑目标三维重建方法，其涉及三维重建技术领域，包括获取光学图像，并进行预处理；构建3D‑R2N2网络，并将预处理后的光学图像输入构建的3D‑R2N2网络；其中3D‑R2N2网络包括CNN模块；对光学图像进行特征提取和编码，并处理成低维特征向量；将低维特征向量送入3D‑LSTM单元，得到三维网格结构；其中三维网格结构包括体素；将三维网格结构输入解码器，并将体素转换成三维概率矩阵；通过三维概率矩阵进行像素重建，即完成光学建筑目标三维重建。本发明能够稳定训练模型，减小收敛性，并提高重建模型的精度，恢复出更精确的图像，使图像达到好的视觉效果。

技术领域

本发明涉及三维重建技术领域，具体涉及基于3D-R2N2的光学建筑目标三维重建方法。

背景技术

三维重建是指对目标物体建立适合计算机表示和处理的数学模型。随着现代科技发展，建筑三维重建技术备受关注，三维模型构建已经成为城市地理空间数据框架关键要素之一，如何快速、自动、准确构建城市地区尤其是各类形态复杂的建筑物三维模型是当前各领域研究的热点问题。2015年，最早提出基于体素表示的三维重建网络3D shapenets，但是此网络存在纹理缺陷、镜面反射和基线等匹配问题。2016年，提出了3D-R2N2方法，该方法主要是解决物体特征匹配问题，但是此方法重建精确度和效率不高；提出了基于卷积神经网络的WarpNet网络框架，实现与监督方法相似质量的重构，利用此方法重建出的目标失真；提出了在真实图像上进行端到端训练的MarrNet模型，存在计算复杂和缺乏更精细的几何形状等问题。2018年，利用体素级重建算法对包含复杂物体的图像进行三维重建，但是对于分辨率很低的图像，此方法重建精确度也很低。2017年，采用B-Rep算法进行三维重建，该算法是面向多面体的三维重建算法，但是只适用于简单的多面体。在传统的三维重建中也存在着建模效率低下、模型视觉效果不佳以及纹理缺失区域建模精度不高等问题，因此对重建算法提出了更高的要求。

发明内容

针对现有技术中的上述不足，本发明提供的基于3D-R2N2的光学建筑目标三维重建方法解决了已有技术建模效率低下、模型视觉效果不佳以及纹理缺失区域建模精度不高的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于3D-R2N2的光学建筑目标三维重建方法，其包括以下步骤：

S1、获取光学图像，并进行预处理；

S2、构建3D-R2N2网络，并将预处理后的光学图像输入构建的3D-R2N2网络；其中3D-R2N2网络包括依次连接的图像提取模块、金字塔池化层、CNN模块和3D-LSTM单元；

S3、通过金字塔池化层将输入的光学图像的尺寸调整为统一大小；

S4、利用3D-R2N2网络的CNN模块和深度残差变化对统一尺寸的光学图像进行特征提取，并对提取的特征进行编码；

S5、将编码的特征进行一维卷积，并通过编码器压缩成1024维的特征向量，即低维特征向量；

S6、将低维特征向量送入3D-LSTM单元，得到三维网格结构；其中三维网格结构包括体素；

S7、将三维网格结构输入解码器，通过解码器来提高三维网格结构的隐藏状态分辨率，直到达到目标输出分辨率；

S8、利用交叉熵损失函数将达到目标输出分辨率的三维网格结构转换成体素在体素坐标点的存在概率，并处理成伯努利分布形式；

S9、将伯努利分布形式的体素在体素坐标点的存在概率建立成一个三维概率矩阵；

S10、通过三维概率矩阵进行像素重建，即完成光学建筑目标三维重建。

进一步地，步骤S1中预处理的具体方法为：

S1-1、根据公式：