[发明专利]虚拟试衣模型训练方法、虚拟试衣方法和相关装置

说明书

本申请提供虚拟试衣模型训练方法、虚拟试衣方法和相关装置，其中，虚拟试衣模型包括虚拟试衣模型包括第一编码模块、第二编码模块、第三编码模块和解码模块，虚拟试衣方法包括：获取目标用户的三维躯体图像；获取目标衣物的衣物图像和文本描述；将三维躯体图像、目标衣物的衣物图像和文本描述输入至目标虚拟试衣模型中，以得到目标用户穿戴所述目标衣物的目标三维图像，目标虚拟试衣模型经过虚拟试衣模型训练方法训练得到。由于目标虚拟试衣模型能够生成足够逼真、且三维特征与三维躯体样本图像中的三维特征一致、衣物特征与二维衣物图像对应的衣物的衣物特征一致的试衣图像，使得试衣图像能够较好地反映用户真实试穿该衣物的情况。

技术领域

本申请涉及虚拟试衣领域，尤其虚拟试衣模型训练方法、虚拟试衣方法和相关装置。

背景技术

在当今社会中，手机已经成为人们日常生活中不可获取的重要工具，尤其是智能手机的出现，手机几乎可以取代电脑，人们可以用手机购物、聊天、视频等，但这些功能远远不能满足人们日益增长的需求，其中，手机购物功能需要进行完善。

用户可以通过手机在网络购物平台(如淘宝、京东)上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果，因而可能会导致买到不适合自己的衣物，购物体验较差。

发明内容

本申请提供虚拟试衣模型训练方法、虚拟试衣方法和相关装置，以解决用户无法知道衣物穿戴在自己身上的效果的技术问题。

第一方面，提供一种虚拟试衣模型训练方法，所述虚拟试衣模型包括第一编码模块、第二编码模块、第三编码模块和解码模块，所述方法包括：

获取训练样本，所述训练样本包括三维躯体样本图像、所述三维躯体样本图像对应的二维衣物样本图像和所述二维衣物样本图像的文本描述；

将所述三维躯体样本图像输入所述第一编码模块，通过所述第一编码模块对所述三维躯体样本图像进行三维特征提取，以得到第一样本特征；

将所述二维衣物样本图像输入所述第二编码模块，通过所述第二编码模块对所述二维衣物样本图像进行二维特征提取，以得到第二样本特征；

将所述二维衣物样本图像的文本描述输入所述第三编码模块，通过所述第三编码模块对所述二维衣物样本图像的文本描述进行语义特征提取，以得到第三样本特征；

将所述第一样本特征、所述第二样本特征以及所述第三样本特征进行特征融合，得到第四样本特征；

将所述第四样本特征输入所述解码模块，通过所述解码模块对所述第四样本特征进行特征还原，以得到三维试衣样本图像；

将所述三维试衣样本图像输入至试衣判别模型，以得到所述三维试衣样本图像的判别结果，所述判别结果用于指示所述三维试衣样本图像为真实试衣图像的可能性；

将所述三维试衣样本图像输入至衣物定位模型，以定位所述三维试衣样本图像中的衣物位置，并根据所述衣物位置截取所述三维试衣样本图像中的衣物，得到衣物迁移样本图像，并将所述衣物迁移样本图像输入至文本描述模型，以得到所述衣物迁移样本图像的文本描述；

将所述三维试衣样本图像输入至人体特征提取模型，以获取所述三维试衣样本图像的三维人体特征，得到第五样本特征；

基于所述第一样本特征和所述第五样本特征、所述二维衣物样本图像和所述衣物迁移样本图像、所述二维衣物样本图像的文本描述和所述衣物迁移样本图像的文本描述以及所述判别结果，对所述虚拟试衣模型、所述试衣判别模型、所述文本描述模型进行迭代调参，直至所述虚拟试衣模型、所述试衣判别模型、所述文本描述模型均收敛；

将收敛后的虚拟试衣模型确定为目标虚拟试衣模型。