[发明专利]一种基于多阶段神经网络的单图像三维重建方法

摘要

本发明公开了一种基于多阶段神经网络的单图像三维重建方法，对现有三维形状集中的三维形状进行多视角渲染获得训练图像集，在其表面采点获得训练点云集；构建点云生成网络，使用深度残差网络构建图像编码器提取图像信息，使用反卷积网络和全连接网络构建双分支初级解码器生成初始点云；构建点云精化网络，使用姿态变换网络、多层感知机和最大池化函数构建点云编码器，使用深度残差网络构建图像编码器，使用全连接层构建图像‑点云耦合器与高级解码器，生成精细点云；对点云生成网络进行训练及对点云精化网络先后进行预训练和精调训练；对输入图像使用已训练的模型进行三维重建获得三维点云，对其进行表面网格重建生成多边形网格表示的三维形状。

主权项

1.一种基于多阶段神经网络的单图像三维重建方法，其特征在于，包括以下步骤：步骤1，准备神经网络的训练数据：对现有三维形状集中的所有三维形状的尺寸进行归一化，再将三维形状渲染为训练图像集，最后在三维形状表面采点获得训练点云集；步骤2，构建三维点云生成网络：通过基于编解码器的点云生成网络从输入图像中生成初始三维点云；步骤3，构建三维点云精化网络：通过基于降噪自编码器的点云精化网络将初始三维点云转化为更精细的点云；步骤4，离线训练三维重建网络：三维重建网络即步骤2中实现的三维点云生成网络和步骤3实现的三维点云精化网络的总称，离线训练包括预训练三维点云生成网络与三维点云精化网络，再对三维点云精化网络进行精调；步骤5，在线测试三维重建网络：将用户提供的图像输入三维重建网络，重建出三维点云；最后使用泊松表面重建算法将三维点云转化为多边形网格表示。