[发明专利]一种基于任意视角图片的三维结构化模型重建的方法

权利要求书

1.一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，包括以下步骤：

步骤1、采集图片，构成训练数据集；

步骤2、对图片的物体部件进行分割，获取每个部件的包围盒；

步骤3、构建深度图提取网络，从图像中提取对应的深度图像；

步骤4、构建结构恢复网络，解码出物体的结构表示；

步骤5、构建并训练深度三维网格变形网络，将包围盒变形成三维模型。

2.根据权利要求1所述的一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，所述训练数据集的图片包括物体的三维网格和与之对应的RGB图片和深度图片。

3.根据权利要求2所述的一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，所述包围盒的参数包括：中心点的坐标、包围盒的长宽高以及长和宽的单位方向向量；并对每个分割好的部件进行采样。

4.根据权利要求3所述的一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，所述深度图提取网络包括两个尺度网络，第一个尺度网络用于捕获整个图像的信息，架构为RestNet18，并连接两个全连接层；第二个尺度网络对输入的图像先进行卷积和池化，再进行连续卷积；

所述深度图提取网络搭建并训练RGB图片到深度图的映射，该深度图提取网络的输入为二维图片，输出为该图片对应的深度图，训练完成后保存该网络模型参数；

所述深度图提取网络训练时，目标函数最小化预测出来的深度值和真实值的差：

其中，Predict_i,j为预测的深度图中的索引为(i,j)的值；GT_i,j为真实的深度图中的索引为(i,j)的值。

5.根据权利要求4所述的一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，所述结构恢复网络包括两个部分，第一个部分是融合深度图的特征和RGB图片的特征，将提取得到的特征集成到潜在向量中，并递归的将该潜在向量解码到物体各个部件的包围盒中；第二部分包括递归神经网络(RvNN)，该RvNN递归地将潜在向量解码为不同的特征层次，直到到达叶节点，叶节点进一步解码为包围盒的参数。

6.根据权利要求5所述的一种基于任意视角图片的三维结构化模型重建的方法，其特征在于，所述结构恢复网络的损失函数如下：

L_mask＝CHS(T(B_i)U,T(B_j)U)

其中，T(B_i)是单位正方体经过旋转变换成包围盒B_i的旋转矩阵；U为对单位正方体进行采样的点；CHS是计算两簇点的最小距离；T(B_j)是单位正方体经过旋转变换成包围盒B_j的旋转矩阵。