[发明专利]一种基于2D图像的3D虚拟换装模型生成方法及装置

说明书

本发明涉及一种基于2D图像的3D虚拟换装模型生成方法，包括以下步骤：将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络进行图像处理；将所述预处理网络的输出图像送入深度预测网络进行深度预测以得到初始服装深度图和初始人体深度图；将所述初始服装深度图和初始人体深度图带入深度优化模型生成网络获取三维服装模型和三维人体模型；将所述三维服装模型和三维人体模型送入服装试穿模块进行模型融合和模型着色，得到3D虚拟换装模型。采用了更全面的信息来描述服装与人体的特征，在小幅增加计算量的同时，加快了方法的收敛速度，提升了虚拟试衣的最终效果。

技术领域

本发明涉及计算机图形学技术领域，具体涉及一种基于2D图像的3D虚拟换装模型生成方法及装置。

背景技术

在后疫情时代，公众更加关注环境的卫生安全，对于线下试衣间来说，消费者愈发重视狭窄密闭空间下的卫生问题；对于线上网店来说，大量的退换货无疑增加了卖家在时间与经济成本上的开销，而买家因为商品不合适需要在快递运输上进行漫长的等待，这些不确定性和滞后性始终困扰着广泛的用户群体。

现有的虚拟试衣方法中主要分为基于2D和基于3D的虚拟试衣，前者的试穿结果是在二维图像空间中，例如公开号为CN202111033391的中国专利“一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法”利用关键点聚类匹配算法，对目标衣服进行扭曲处理，将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，输出合成真实图像，但它忽略了潜在的三维身体信息，导致对人体的表现能力较差；后者的试穿结果实在三维空间中呈现，公开号为CN201811159988的中国专利“基于单目深度相机的虚拟试衣方法及装置”通过将RGB-D中的RGB通道输入预先训练的神经网络，并结合深度通道得到点云中每个点的类别以完成虚拟试衣，通过3D人体建模和3D服装建模，实现了3D虚拟试衣，真实展示了用户的试衣效果，但它需要昂贵的传感器及服装、人体的建模数据，即现有的三维虚拟试衣方法主要依赖于事先标注的三维人体形状和服装模板。

现有的基于3D的虚拟试衣方法主要依赖于带注释的3D人形和服装模板，因所需的时间与经济成本高昂，制约其技术的发展，这极大地阻碍了此类方法在实际场景中的应用；而基于2D信息的虚拟试衣方法提供了一种更快的替代方案来操作目标服装与人物信息，但因为此类方案在实际应用中缺乏丰富且逼真的三维表示而大为受限。

发明内容

有鉴于此，本发明提供了一种基于2D图像的3D虚拟换装模型生成方法及装置，目的在于，采用了更全面的信息来描述服装与人体的特征，在小幅增加计算量的同时，加快了方法的收敛速度，提升了虚拟试衣的最终效果。

为达上述目的，本发明采用了如下技术方案：

一种基于2D图像的3D虚拟换装模型生成方法，包括以下步骤：

将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络进行图像处理；将所述预处理网络的输出图像送入深度预测网络进行深度预测以得到初始服装深度图和初始人体深度图；将所述初始服装深度图和初始人体深度图带入深度优化的模型生成网络获取三维服装模型和三维人体模型；将所述三维服装模型和三维人体模型送入服装试穿网络进行模型融合和模型着色，得到3D虚拟换装模型。

进一步的，所述将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络进行图像处理的步骤还包括：

将人体全身图和待试穿服装的2D图以及人体语义分割图送入预处理网络的第一部分进行特征提取，得到服装关键点语义图、人体关键点语义图、去除服装区域的人体语义图和人体姿态灰度表示图。

将人体全身图和待试穿服装的2D图送入预处理网络的第二部分进行预对齐操作，通过图像旋转与比例缩放将待试穿服装的边角与人体全身图像的服装轮廓进行预对齐，得到待试穿服装的预对齐图。