[发明专利]具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法

说明书

本发明公开了一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。本发明面向复杂场景下的虚拟试衣，提出服装试穿策略和条件皮肤推断机制。利用语义类别的解缠表示和循环一致性引入，推断合理的服装试穿语义布局。以推断的语义布局为形状引导，通过变形‑映射‑组合策略实现服装试穿，为解决服装试穿的通用性，采用静态覆盖‑动态选择的变形策略和基于区域对齐的显性任务分配。通过调整StyleGAN2模型，实现根据目标皮肤形状和空间无关皮肤特征的皮肤内容推断。本发明适应于图像虚拟试衣，有助于解决虚拟试衣在试穿不同种类服装和皮肤重裸露时的鲁棒性问题，有助于用户感受逼真的虚拟试衣效果，有助于推广图像虚拟试衣的商业应用。

技术领域

本发明属于图像虚拟试衣领域的一种图像虚拟试衣方法，尤其涉及一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。

背景技术

图像虚拟试穿是极具商业潜力的计算机视觉话题。图像虚拟试穿对人体和服装的专业三维建模没有要求。它以用户和试穿服装图像为输入，以图像形式呈现出试穿全新服装的逼真效果。然而，推动图像虚拟试穿的商业应用仍面临一些挑战性的问题。由于图像虚拟试衣在复杂场景下的鲁棒性低，亟需一种鲁棒先进的服装试穿和皮肤推断机制，以提高服装试穿结果的真实性。

现有的图像虚拟试衣研究缺乏鲁棒的试穿语义布局推断，其人体的实例级分割推断在解缠原有着装和手臂裸露推断方面表现不佳，导致在试穿过程中服装的样式变化和边界模糊；由于过度依赖单一尺度的变形和变形推断任务的非显性分配，试衣的结果图像不能有效的继承纹理并导致了试穿的不真实性；其缺乏专有的皮肤推断机制，并归结服装和皮肤推断为类似任务，导致了皮肤的伪影和肤色偏移。

综上，现有的技术难以解决复杂环境下图像虚拟试衣的低鲁棒性问题，模糊不真实的虚拟试衣效果阻碍了其进一步的商业推广。因此，亟需一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。

发明内容

本发明的目的在于针对现有技术的不足，提供一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。本发明面向在线服装零售的服装试穿，利用变形-映射-组合的试穿策略和条件皮肤推断，实现在复杂场景下鲁棒和真实的虚拟试衣。本发明通过解缠表示语义类别以避免原有着装的影响，利用循环一致性提高模型对非成对数据的鲁棒性，实现试穿语义布局的合理推断。以试穿语义布局为形状引导，采用静态覆盖和动态选择的变形策略和基于区域对齐的显性任务分配，实现服装试穿中的变形程度和纹理保持的平衡。为解决服装试穿中重裸露皮肤的推断问题，调整StyleGAN2模型，基于目标皮肤形状和空间无关的皮肤特征推断重裸露皮肤内容，并通过在自监督训练中引入随机擦除，模拟实际试穿情况下皮肤裸露。

本发明的目的是通过以下技术方案来实现的：

1)由用户图像和试穿服装图像组成试穿图像对，每对试穿图像对均进行预处理后获得对应的人体剩余部分分割图稠密人体姿势D以及试穿服装掩膜

2)将每对试穿图像对对应的人体剩余部分分割图稠密人体姿势D以及试穿服装掩膜输入到实例级分割推断模块中学习服装-人体的语义特征以及推断试穿语义布局，获得每对试穿图像对对应的虚拟试衣实例级分割图再对虚拟试衣实例级分割图分割后获得对应的虚拟试衣皮肤分割图虚拟试衣服装分割图和虚拟试衣剩余部分分割图

3)将虚拟试衣服装分割图和试穿服装图像试穿服装掩膜一起输入到渐进式服装试穿模块中变形服装至人体姿势，获得最终试衣结果

4)根据虚拟试衣皮肤分割图和皮肤内容先验判断皮肤是否裸露，如果皮肤裸露，则将虚拟试衣皮肤分割图和皮肤内容先验输入到重裸露皮肤推断模块中进行皮肤内容的修补，获得重裸露皮肤图像否则，则将虚拟试衣皮肤分割图和皮肤内容先验进行相乘后获得重裸露皮肤图像

5)将虚拟试衣剩余部分分割图与用户图像进行相乘后获得虚拟试衣剩余部分图像最后将最终试衣结果重裸露皮肤图像和虚拟试衣剩余部分图像进行相乘后获得虚拟试衣图像实现用户的虚拟试衣。