[发明专利]一种基于图卷积的从图像中重建着装人体模型的方法

说明书

本发明公开了一种基于图卷积的从图像中重建着装人体模型的方法，包括以下步骤：S1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；S2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；S3、训练所述基于图卷积的神经网络；S4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；S5、将预处理后的测试图像输入训练好的神经网络神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。

技术领域

本发明涉及计算机图形学、计算机视觉与机器学习的三维物体重建领域，具体涉及一种基于图卷积的从图像中重建着装人体模型的方法。

背景技术

三维模型的重建一直是计算机图形图像领域的热门问题，其中三维人体重建更是一个受到广泛关注且具有巨大应用价值的领域。目前高质量三维人体模型往往需要借助一些相机阵列或者特殊的深度、激光相机来获得初步的图像信息，然后经过复杂的后处理得到模型。这种方法的精度较高，但是需要昂贵的专用设备，推广难度大，且重建过程操作复杂。另外一种获得三维人体的方法是基于单个深度或者彩色相机来获得图像，然后借助于神经网络的处理来快速获得重建结果。因为深度相机并不像普通彩色相机那么普遍，导致基于深度相机的方法受制于采集设备。而仅利用彩色图像的方法，由于输入图像中包含的人体信息有限，需要神经网络学习人体的先验知识作为补充。其中部分工作恢复的结果虽然可控，但是仅包含人体的体型与姿势，并不包含人体的着装，无法反应照片中真实人体的衣服外貌。另外有工作尝试从图像中恢复出着装的人体，但是它恢复的结果不具有可控性，无法直接进行二次的姿势或者体型的变化，这给人体重建结果推广与使用带来了困难。

《一种人体二维图像采集装置及三维人体表面重建系统》(CN 206162583 U)由红外图像采集装置和三维人体表面重建系统组成。采集装置为一个红外相机，利用架设的滑轨或转盘，自动转动相机或人体，从而获得静止人体在各种角度下的红外图像。多视角的红外图像送入与采集装置相连的三维人体表面重建装置，重建三维人体。

《基于图片的SMPL参数预测以及人体模型生成方法》(CN 111968217 A)分为基本人体模型(SMPL)的形状与姿势参数的预测。输入的图像通过特殊设计具有注意力机制的神经网络提取人体轮廓，依据人体轮廓预测SMPL的形态参数，利用姿态参数预测网络预测SMPL的姿势参数，姿势参数θ和形状参数β控制SMPL的生成结果，得到最终的三维人体模型。

《一种基于简易测量服的三维人体快速重建方法》(CN 108269302 B)首先针对现有人体库中的人体，提取其中的特征参数与特征曲线作为人体的特征，然后利用PCA方法构建整个人体库的形状空间。神经网络被用来建立人体特征与形状空间之间的映射关系。然后测量待测人体特征参数以及利用简易测量服获取该人体的特征曲线，这两项输入到之前的神经网络映射模型，得到形状空间中的各特征向量对应的特征值，再还原重建得到三维人体模型。

《基于RGBD单视角图像人体三维重建方法及装置》(CN 110335343 A)通过深度相机采集人体的RGB彩色图片与深度图片，依据图片得到对应人体在图像中包含的人体分割信息、二维关节点信息和三维关节点信息，凭借三维关节点对基本人体模型(SMPL)进行约束与初步的预测，将初步预测的三维人体渲染深度图像，使得预测模型深度值与采集的深度图数值尽可能相似，然后结合单视角彩色图像与从渲染中恢复三维形状的方法对初步预测的人体模型进行进一步的优化，并进行三角化重建获得三维人体模型。

一种有遮挡情况下的人体三维重建方法、装置及电子设备》(CN 111739161 B)主要解决的是在遮挡情况下的三维人体重建。利用相机采集的彩色图像与深度图像，对彩色图像里的目标进行实例分割，得到人体掩码与遮挡物掩码，依此信息将深度图分为人体深度图与遮挡物深度图，利用神经网络估计遮挡物姿态然后重建遮挡物，基于彩色图像，人体深度图与遮挡物模型对人体造成的几何约束进行三维人体重建。