[发明专利]一种虚拟试衣方法及系统

说明书

本发明公开了一种虚拟试衣方法，所述试衣方法包括如下步骤：提取目标人物图像的服装区域；根据参考服装的款式，采用对抗网络模型对服装区域进行款式变换，获得服装参考区域；利用服装形变模型，根据目标人物图像中的人物的身姿对参考服装进行形变，获得形变后的参考服装；利用服装渲染模型，将形变后的参考服装渲染到目标人物图像的服装参考区域，获得渲染后的目标人物图像。本发明利用对抗网络模型对服装区域进行款式变换，使虚拟试衣不受款式的限制，利用服装形变模型对参考服装进行形变，使其适用于不同的身姿，使虚拟试衣不受身姿的限制，本发明提供一种不受衣服款式和试衣人员的身姿限制的虚拟试衣方法，提高了用户的体验。

技术领域

本发明涉及计算机视觉模拟技术领域，特别是涉及一种虚拟试衣方法及系统。

背景技术

随着互联网技术的迅猛发展，越来越多的人们喜欢在电商平台上购买衣服，如淘宝、蘑菇街、唯品会等，但是只能依赖于虚拟模特来观察服装效果，并不能直观地衡量服装是否适合自己。如何通过计算机让服装虚拟试穿到人物图像上是计算机视觉领域的研究热点，用户亲身体验自己穿着不同服装，直观判断自己是否心仪某件衣服，从而帮助用户做出购买决策，还能丰富在线购物体验。

现有的试衣工作是基于三维模型实现3D虚拟试衣。例如，通过多摄像机捕获的深度图来合成用户身材体型，根据体型来调整2D服装图像，完成三维虚拟试衣。利用多区域扫描的3D技术来捕获服装，并根据人物的身形和姿势重新调整服装。但是3D试衣依赖三维测量来进行精确的服装模拟，实施条件严苛且工作量较大。

基于二维图像级的虚拟试衣已成为试衣领域的热点，从图像视觉上合成真实的试衣图像。GAN是图像合成模型的热点，吸引了越来越多的学者将GAN应用于服装图像生成、服装图像编辑、服装时尚感提升以及试衣等任务。例如，采用结合GAN和深度CNN的方式来完成图像生成任务，在没有考虑人物姿势的前提下，通过穿着服装的人物图像生成其上衣图像。图像级的穿着全身服装的人物生成模型，可以根据人物姿势形态进行服装调整，但服装是随机生成，并没有考虑如何控制服装项。Fashion++训练了提升服装时尚感的模型，能自动度量时尚标准，对全身服装进行微小改变，将输入图像的服装调整为更加时尚的服装。CAGAN采用GAN实现2D试衣，让模特试穿给定的服装，但是没有考虑人物的姿态，要求人物图像和服装图像高度对齐。ACGPN在TPS形变的基础上，引入了二阶差分约束，使得参考服装的纹理不会发生较大形变，效果更加真实，但人物姿态较为复杂时，会出现无法正确试衣的情形。VITON提出先生成粗糙试衣图像，再对参考服装的特征信息进行二次提取，来合成更加真实的试衣图像，但是依然会丢失服装和人物细节特征。CP-VTON在此基础上，提出了特征保留的试衣网络，更好地保留了参考服装图像的细节特征，但试衣后人物细节特征丢失，除服装区域变化外，人物手臂手部区域以及其它非试衣服装区域发生了不可控的变化，无法合成更加写实保真的图像。为了解决上述问题，CP-VTON+提出了服装形状和纹理保留网络，虽然它优于目前的方法，但对于长袖款、纹理复杂的服装图像，以及姿态复杂的目标人物图像，它并不总是能生成满意的试衣效果。

如何提供一种不受衣服款式和试衣人员的身姿限制的虚拟试衣方法，以提高用户的体验，成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种虚拟试衣方法及系统，以提供一种不受衣服款式和试衣人员的身姿限制的虚拟试衣方法，提高用户的体验。

为实现上述目的，本发明提供了如下方案：

本发明提供一种虚拟试衣方法，所述试衣方法包括如下步骤：

提取目标人物图像的服装区域；

根据参考服装的款式，采用对抗网络模型对服装区域进行款式变换，获得服装参考区域；

利用服装形变模型，根据目标人物图像中的人物的身姿对参考服装进行形变，获得形变后的参考服装；