[发明专利]基于多视图的物体3D形状重建方法

权利要求书

1.一种基于多视图的物体3D形状重建方法，包括以下步骤：

步骤一、数据准备

获取ShapeNet数据集中的一个或多个3D网格模型，按设置阈值在其表面进行点采样，构建同获取的3D网格模型对应的3D点云数据，其中获取的3D网格模型还包括对应的样本图像；

获取椭球网格模型作为形变模板，该椭球网格模型包括椭球体，该椭球体包含156个顶点，308个三角形面；该椭球体的参数包括放置于距相机正前方0.8m处，以此位置为圆心，该椭球体的三轴半径分别为0.2m、0.2m、0.4m；

步骤二、对特征提取网络和模板形变网络进行联合训练

将步骤一的3D点云数据、同3D点云数据对应的样本图像及所述相机的参数送入3D形状重建网络中进行训练；其中3D点云数据用于计算损失函数；

所述3D形状重建网络包括：特征提取模块与模板形变模块；所述特征提取模块包括18个卷积层与convLSTM层；

所述步骤二中，将所述样本图像输入所述特征提取模块的18个卷积层，从第8、11、14与18卷积层提取特征输出；所述ConvLSTM层将从第8、11、14与18卷积层提取的特征输出融合为融合像素特征图Img；

所述模板形变模块包括：7个形变模块、5个graph unpooling模块、2个graph pooling模块以及7个投影模块；

所述步骤二中，第一投影模块根据所述形变模板、所述相机参数与所述特征提取模块输出的第一样本图像的融合像素特征图Img₁得到156＊963维度的顶点特征P₁，第一形变模块利用该顶点特征P₁生成第一个具有156个顶点的3D形状M₁；第二投影模块依据3D形状M₁、所述相机参数与所述第一样本图像的融合像素特征图Img₁再次进行投影得到新的156＊963维度的顶点特征P₂，之后利用Graph unpooling模块在该顶点特征P₂上增加顶点数量得到628＊963的顶点特征P₃，第二形变模块利用该顶点特征P₃生成第二个具有628个顶点的3D形状M₂；第三投影模块依据3D形状M₂、所述相机参数与所述第一样本图像的融合像素特征图Img₁再次进行投影得到新的628＊963维度的顶点特征P₄，之后利用Graph unpooling模块在该顶点特征P₄上增加顶点数量得到2466＊963的顶点特征P₅，第三形变模块利用该特征生成第三个具有2466个顶点的3D形状M₃；第四投影模块依据3D形状M₃、所述相机参数与所述特征提取模块输出的第二样本图像的融合像素特征图Img₂再次进行投影得到新的2466＊963维度的顶点特征P₆，之后利用Graph pooling模块在该顶点特征P₆上缩减顶点数量得到628＊963的顶点特征P₇，第四形变模块利用该顶点特征P₇生成第四个具有628个顶点的3D形状M₄；第五投影模块依据3D形状M₄、所述相机参数与所述第二样本图像的融合像素特征图Img₂再次进行投影得到新的628＊963维度的顶点特征P₈，之后利用Graph unpooling模块在该顶点特征P₈上增加顶点数量得到2466＊963的顶点特征P₉，第五形变模块利用该顶点特征P₉生成第五个具有2466个顶点的3D形状M₅；第六投影模块依据3D形状M₅、所述相机参数与所述特征提取模块输出的第三样本图像的融合像素特征图Img₃再次进行投影得到新的2466＊963维度的顶点特征P₁₀，之后利用Graph pooling模块在该顶点特征P₁₀上缩减顶点数量得到628＊963的顶点特征P₁₁，第六形变模块利用该顶点特征P₁₁生成第六个具有628个顶点的3D形状M₆；第七投影模块依据3D形状M₆、所述相机参数与所述第三样本图像的融合像素特征图Img₃再次进行投影得到新的628＊963维度的顶点特征P₁₂，之后利用Graph unpooling模块在该顶点特征P₁₂上增加顶点数量得到2466＊963的顶点特征P₁₃，第七形变模块利用该顶点特征P₁₃生成第七个具有2466个顶点的3D形状M₇，并将3D形状M₇作为最终结果输出；

所述步骤二还包括：将第一、二、三、四、五、六、七形变模块输出的3D形状，分别与步骤一获取的3D点云数据计算CD损失、Normal损失、Laplacian损失、edgelength损失，用于监督所述3D形状重建网络的训练；以及，将第三、五、七形变模块输出的3D形状还计算Smooth损失，用于约束其生成的2466个顶点3D形状的表面光滑度；

所述第七形变模块的输出作为所述3D形状重建网络输出的物体3D形状；

步骤三，用训练好的所述3D形状重建网络重建物体3D形状。