[发明专利]一种姿态和纹理引导的时尚服装设计合成方法

说明书

本发明公开了一种姿态和纹理引导的时尚服装设计合成的方法。本发明步骤：1、借助现有的时尚数据集，收集任务的数据，并对数据进行预处理，构建时尚图像、姿态信息、语义信息数据组；2、以生成自然准确的时尚图像为目标，构建两阶段生成模型；生成模型包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像；3、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下，利用收集到的数据组训练语义布局生成网络和纹理转移网络；4、通过反向传播算法对生成模型中的网络参数进行训练，直至整个模型收敛，生成对应的时尚图像。本发明在Fashion‑Gen数据集上进行了实验，在定量和定性上都取得了很好的结果。

技术领域

本发明提到了一种姿态和纹理引导的时尚服装设计合成(Pose and TextureGuided Multi-View Fashion Design Synthesis)的新方法，其中主要涉及一种利用语义布局生成网络将输入的人体姿态转换为一系列的人体语义布局的方法，以及使用纹理转移网络实现纹理转移，并通过生成对抗网络生成真实的时尚图像的方法。

背景技术

由于现实生活应用的高需求和深度学习、机器学习、计算机视觉、多媒体技术等相关理论和技术的突破发展，将人工智能与时尚相结合的任务近年来受到了相当多的关注，如服装识别、服装检索、时尚推荐、时尚趋势预测等方面，研究的主题对象为服装。最近几年，由于生成式模型(如GANs、VAEs)在图像合成方面取得的引人瞩目的结果，计算机学者在时尚图像合成领域也开展了广泛的研究应用，如人体姿态引导的服装图像生成算法、文本引导的服装图像生成算法、基于图像生成模型的虚拟试衣算法、基于图像生成模型的服装设计应用等。

人体姿态引导的服装图像生成算法为以人体姿态图片为输入条件，改变已有包含人物模特的服装图片，合成全新的服装图像，这张新生成的服装图像一方面需要保证人物模特的姿态与输入姿态保持一致，另外一方面需要保证人物模特的衣物、外表等特征与原服装图片保持一致。文本引导的服装图像生成算法为以包含衣物特性语义的文本描述为输入条件，改变已有包含人物模特的服装图片，合成全新的服装图像，这张新生成的服装图像一方面需要保证模特的衣物特征与输入的文本描述在语义上保持一致，另外一方面需要保证人物模特的外表、姿态等特征与原服装图片保持一致。基于图像生成模型的虚拟试衣算法为给定人物模特图片和目标服装图片，他们先生成粗略的试衣结果图，其中形变后的目标服装被转移到人物模特的正确区域上。基于图像生成模型的服装设计应用为通过颜色、纹理和形状等信息来控制输出服装设计图。本方法可以归类为基于图像生成模型的服装设计应用，通过姿态和纹理信息控制生成多样的时尚服装设计图，用于减轻设计师的工作，加快时尚产品的设计周期。

在姿态和纹理引导的时尚图像生成任务上，现有的简单的想法是直接应用标准的图像到图像转换模型，如pix2pix和pix2pixHD来解决我们提出的问题。然而，这些方法本质上是学习从源图像到目标图像的映射。实验结果证明，这并不能完成我们的任务。此外，我们的任务需要解决几个具有挑战性的问题。

1)引导姿态中包含信息过少

人体姿态通常用二维关节点表示，其中只包含人体关节点信息，不包含形状信息，现有的方法难以从粗糙的姿态信息中推断出人体结构和服装结构。

2)纹理转移实现的困难性

由于普通卷积网络对于特征处理的局部性，现有的时尚图像生成方法中不存在一个专门的纹理传输机制实现时尚图像纹理的有效转移。其次，由于服装区域通常是不规则的，如何利用任意尺寸的纹理块精确的转移纹理到相应的服装区域，合成自然逼真的时尚图像也是一个挑战。现有的时尚图像生成方法实现的都是纯色纹理的生成，无法实现对复杂纹理的有效转移，普遍实现的是局部纹理的生成或者是不正确纹理的生成。

3)时尚服装生成的多样性局限

现有的时尚图像生成方法普遍使用人体的姿态信息或人体的语义信息进行引导，服装结构类型固定，无法生成与现实情况中各种服装类别和时尚风格对应的时尚图像。