[发明专利]一种基于2D图像的3D虚拟换装模型生成方法及装置

权利要求书

1.一种基于2D图像的3D虚拟换装模型生成方法，其特征在于，包括以下步骤：

将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络进行图像处理；

将所述预处理网络的输出图像送入深度预测网络进行深度预测以得到初始服装深度图和初始人体深度图；

将所述初始服装深度图和初始人体深度图带入深度优化模型生成网络获取三维服装模型和三维人体模型；

将所述三维服装模型和三维人体模型送入服装试穿网络进行模型融合和模型着色，得到3D虚拟换装模型；

所述将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络进行图像处理的步骤还包括：

将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络的第一部分进行特征提取，得到服装关键点语义图、人体关键点语义图、去除服装区域的人体语义图和人体姿态灰度表示图；

将人体全身图和待试穿服装的2D图送入预处理网络的第二部分进行预对齐操作，通过图像旋转与比例缩放将待试穿服装的边角与人体全身图像的服装轮廓进行预对齐，得到待试穿服装的预对齐图；

将所述预对齐图、人体全身图、服装关键点语义图、人体关键点语义图和人体姿态灰度表示图送入预处理网络的第三部分进行服装变换，根据人体的当前姿态，通过插值法将服装褶皱、纹理特征转移到待试穿服装的预对齐图上，得到贴合人体姿态的服装变形图；

所述预对齐操作的实现过程可表示为：

其中，S表示待试穿服装的2D图的特征向量；和分别代表待试穿服装的2D图的中心点坐标和人体全身图中服装区域的中心点坐标；和分别代表待试穿服装的2D图的服装上边界减去下边界的行距和人体全身图中服装区域的上边界减去下边界的行距；和分别代表待试穿服装的2D图的高度和人体全身图中的高度；和分别代表待试穿服装的2D图的服装中心点的法线角度和人体全身图中服装区域的中心点的法线角度；、和分别代表了图像缩放因子、图像旋转因子与图像平移因子。

2.如权利要求1所述的一种基于2D图像的3D虚拟换装模型生成方法，其特征在于，所述人体全身图包括正面视图和背面视图，所述待试穿服装的2D图也包括正面视图和背面视图，

所述将人体全身图的正面视图和待试穿服装的2D图的正面视图以及人体语义分割图送入预处理网络进行正面视图的图像处理；

再所述将人体全身图的背面视图和待试穿服装的2D图的背面视图以及人体语义分割图送入预处理网络进行背面视图的图像处理。

3.如权利要求1所述的一种基于2D图像的3D虚拟换装模型生成方法，其特征在于，所述将所述预处理网络的输出图像送入深度预测网络进行深度预测以得到初始服装深度图和初始人体深度图的步骤还包括：

将所述服装变形图、人体全身图、去除服装区域的人体语义图、人体姿态灰度表示图送入深度预测网络，通过深度预测操作将二维图像特征送入深度编码器，得到初始服装深度图和初始人体深度图，其中，

所述深度预测操作为将二维图像的像素通道映射到深度通道。

4.如权利要求3所述的一种基于2D图像的3D虚拟换装模型生成方法，其特征在于，所述深度预测操作在训练过程中使用的损失函数的具体表示式为：

其中，X表示样本集，表示位置深度信息点在真实值中的占有率或正确率，表示样本集中的第x样本所估计的正面深度图， 表示样本集中的第x样本所估计的背面深度图，表示该样本的正面深度图的真实标签值，表示该样本的背面深度图的真实标签值，L1为最小绝对值偏差。

5.如权利要求1所述的一种基于2D图像的3D虚拟换装模型生成方法，其特征在于，所述将所述初始服装深度图和初始人体深度图带入深度优化模型生成网络获取三维服装模型和三维人体模型的步骤包括：

通过对初始服装深度图和初始人体深度图的局部信息和梯度信息进行优化，得到细化的服装深度图和细化的人体深度图；

利用深度转换操作将细化的服装深度图和细化的人体深度图转换为三维服装模型和三维人体模型，其中所述深度转换操作将二维深度图转换为三维点云。