[发明专利]一种基于深度学习的三维重建方法

权利要求书

1.一种基于深度学习的三维重建方法，其特征在于：该方法包括以下步骤：

(1)将输入图像被约束的潜在向量重建出目标完整三维形状，学习部分和完整三维形状之间的映射，然后实现单幅深度图像的三维重建；

(2)学习三维真实对象与重建对象之间的中间特征表示，从而获得目标潜在变量；

(3)利用极限学习机将步骤(1)中预测的体素浮动值变换为二进制值，完成高精度重建；

所述步骤(1)包括以下分步骤：

(1.1)三维GAN重建和判别约束的实现；

(1.2)潜在特征一致性约束的实现；

(1.3)深度投影一致性约束的实现；

所述步骤(1.1)采用改进的Wasserstein GAN进行训练；

对于生成器，目标函数L_g通过公式(1)获得：

L_g＝η(-βy_tlog(y_p)-(1-β)(1-y_t)log(1-y_p))-(1-η)Ε[D(y_p|x)]      (1)

其中，x为深度图像转化后的三维体素值，y_p是网络生成的三维对象值，实验中β被设置为0.85，η被设置为5；

对于判别器，通过缩小真实对和生成对之间的Wasserstein距离来训练，其目标函数L_d为公式(2)：

其中，λ用来优化梯度惩罚和原始目标之间的权衡；

所述步骤(1.2)利用学习到的三维真实对象的潜在特征向量信息约束输入图像的潜在向量，以指导模型生成目标三维形状数据，使缺失部分能够准确预测，其损失函数L_l为公式(3)：

L_l＝Ε(Z_t)-Ε(Z_p)    (3)

其中，Z_t是三维真实对象学习到的潜在向量，Z_p是单幅深度图像学习到的潜在向量，Ε(·)表示期望；

所述步骤(1.3)在预测的三维形状和输入的深度图像之间进行了投影约束，投影后的深度值与输入的深度值保持一致，提高输入信息的保真度，以便模型对生成的三维形状进行微调,其损失函数L_project为公式(4)：

其中，y_p(x,y,z)表示预测的三维形状y_p在位置(x,y,z)处的值，y_p(x,y,z)∈{0,1}，d_x,y是输入图像x在位置(x,y)处的深度值。

2.根据权利要求1所述的基于深度学习的三维重建方法，其特征在于：所述步骤(2)采用一个具有跳跃连接的三维深度卷积AE，编码器的特征层会被相应地连接到解码器。

3.根据权利要求2所述的基于深度学习的三维重建方法，其特征在于：所述步骤(2)中网络结构包括编码器和解码器：编码器有四个三维卷积层，每个卷积层有一组4×4×4的滤波器，滑动步幅为1×1×1，接着是一个ReLU激活函数和一个最大池化层；然后有两个完全连接层，其中第二个完全连接层是学习到的潜在向量；解码器由四个对称的反卷积层组成，除最后一层使用Sigmoid激活函数外，其它反卷积层都使用ReLU激活函数，整个计算流程为：64³(1)→32³(64)→16³(128)→8³(256)→4³(512)→32768→5000→32768→4³(512)→8³(256)→16³(128)→32³(64)→64³(1)。