[发明专利]一种基于图卷积的从图像中重建着装人体模型的方法

权利要求书

1.一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，包括以下步骤：

S1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；所述着装人体模型的表示方式为SMPL+D_p，是在所述光滑人体模型的每个顶点上增加偏移，通过增加偏移来表示人体的服饰信息，所有顶点形成偏移集合D_p：

D_p＝W(D_u,J(β),θ,φ)

其中，D_u表示默认姿势下的偏移，W(*)表示SMPL的线性蒙皮函数，φ为对应的权重，J(β)表示由形状参数β确定的关节点位置，将默认姿势下的偏移D_u与默认姿势下的光滑人体模型相加，通过控制形状参数β和姿势参数θ控制着装人体模型；

S2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；

利用神经网络PyTorch搭建图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；

所述图像特征提取网络包括s个卷积层，每个卷积层的卷积核大小都为m*m，除了最后一层卷积层，每个卷积层后面都接有修正线性单元作为激活函数来修正输出值；

所述图像特征转换模块接收来自图像特征提取网络输出的特征图，基于网格拓扑图卷积输入光滑人体模型每个顶点的特征，利用对应的光滑人体模型或者基于图卷积的人体外貌优化网络输出的中间预测结果做相机投影，得到光滑人体模型上的顶点在每层特征图上的位置，然后以该位置为中心借助双线性插值的方法提取该顶点特征，分别在图像特征提取网络的特征图执行投影对齐操作，再将每个顶点在不同层的特征拼接在一起，作为经过投影对齐后得到的所有投影点中的某一个投影点在投影前所对应的光滑人体模型上的三维坐标点该顶点在基于图卷积的人体外貌优化网络中的输入特征；

所述基于图卷积的人体外貌优化网络包括多级沙漏模块；每级沙漏模块包括由多个堆叠的图卷积构成的沙漏模块；每级沙漏模块之间设有含两个卷积窗口的图卷积执行特征的通道转换，每级沙漏模块之后设有含两个卷积窗口的图卷积用于生成中间预测结果D_p，该中间预测结果D_p与对应的光滑人体模型叠加得到该沙漏模块预测下的中间人体模型预测结果；第一级沙漏模块的输入为光滑人体模型投影对齐的特征；其他的沙漏模块的输入为上一级沙漏模块优化的光滑人体模型投影对齐的特征、上一级沙漏模块的输出以及中间人体模型预测结果；

S3、训练所述基于图卷积的神经网络；

S4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；

S5、将预处理后的测试图像输入训练好的神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。

2.根据权利要求1所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述光滑人体模型通过SMPL生成，所述光滑人体模型的形态由n个形状参数β和N个姿势参数θ控制。

3.根据权利要求2所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述每级沙漏模块包括h个下采样图卷积块、h个上采样图卷积块和h个残差图卷积块；

其中，每个卷积块包括含有j层卷积窗口的图卷积；如果卷积块的输入与输出通道数一致，则将输入与输出直接相加作为最终输出，否则使用额外的图卷积将卷积块的输入通道转换后再与输出相加；

所述h个下采样图卷积块，将投影对齐的特征依次下采样至最小分辨率然后通过两个全连接层与一个上采样图卷积块相连；

所述h个上采样图卷积块依次连接；所述h个下采样图卷积块、h个上采样图卷积块的不同卷积块之间的拓扑结构不同，所对应的顶点也不同，上一级的特征通过之顶点上下采样矩阵进行上下采样，以满足不同的拓扑要求；

所述h个残差图卷积块的输入分别与同级下采样图卷积块输入相同，输出通道数分别与同级上采样图卷积块的相同，每个残差图卷积块将该级输出与对应的上采样图卷积块输出相加得到该级拓扑下的最终输出特征。