[发明专利]一种基于草图引导的配对服装图像生成方法

说明书

本发明公开了一种基于草图引导的配对服装图像生成方法，包括：(1)获取成对的服装图像；(2)获取表示用户个性化偏好的草稿图；(3)构建服装图像生成模型，服装图像生成模型包括生成器模块、真实判别器和兼容性判别器，生成器模块包括编码器和解码器；在编码器中输入参考服装图像和草稿图，输出一个高级图像特征，并输入至解码器，得到合成服装图像；将合成服装图像和真实服装图像输入真实性判别器，计算判别损失；将合成服装对和真实服装对输入兼容性判别器，计算兼容性得分，进一步计算兼容性损失；(4)对服装图像生成模型进行训练，训练完成后，进行应用。利用本发明，可以生成与参考服装更加匹配和兼容的新服装图像。

技术领域

本发明属于图像生成技术领域，尤其是涉及一种基于草图引导的配对服装图像生成方法。

背景技术

随着时尚产业向在线业务的快速发展，与时尚相关的计算机视觉问题日益受到关注。其中一个特别有趣的任务是时装推荐，这项任务的目标是给定一件衣服推荐与给定的服装互相兼容的服装。时尚推荐的关键是塑造时尚衣物之间的兼容性。在计算机视觉领域中，服装的高度兼容是指将不同类别的时尚衣物进行合理、美观的搭配，组装成一套完整的服装。目前已经有许多成熟的方法在预测时尚服装兼容性方面取得了成功，在实际应用场景中，服装推荐大致可以分为3个步骤：首先，输入参考服装A；然后，从数据库中依次挑选服装与A进行兼容性检测；最后，选出得分最高的服装B进行推荐。但是，还是存在两个问题：1.如果库存服装过少，则无法选择合适的服装进行推荐；2.如果库存服装过多，需要计算每对服装的兼容性，导致服装推荐存在效率问题。主要是因为大多数兼容性检测方法都使用了深度神经网络，所以计算量大，消耗时间长。

近年来，生成对抗网络(Generative Adversarial Network,GAN)由于其强大的生成能力在计算机视觉领域取得巨大的成功。特别是传统GAN及其变体在图像生成、图像编辑、表示学习等方面取得了令人瞩目的成绩，弥补了传统方法的不足。构建一个生成对抗网络来合成与给定服装兼容的新服装，对于库存服装数量较小的情况，这可以解决小库存的服装亏空问题；对于库存服装数量较大的情况，可以通过哈希查找等搜索技术从数据库中寻找与合成服装相似的真实服装样本，这比枚举所有服装单品进行成对服装的兼容性预测更加高效。

现有的图像生成技术存在的一些问题：首先，生成服装的样式过于单一；对于同一件服装衣物，不同的用户可能喜欢选择不同形状和风格的衣物来搭配它，但是，对于GAN而言，在给定源图像的情况下，它每次都会不可避免地产生相同的服装结果。其次，随机生成的服装与输入的服装图像之间并不匹配、兼容，无法实现完美的推荐。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于草图引导的配对服装图像生成方法，用于生成与参考服装更加匹配和兼容的新服装图像。

一种基于草图引导的配对服装图像生成方法，包括以下步骤：

(1)获取成对的服装图像，组成服装数据集，每对服装图像包括上装和下装；

(2)获取表示用户个性化偏好的草稿图，组成草稿图数据集；

(3)构建服装图像生成模型，所述的服装图像生成模型包括生成器模块、真实判别器E_gan和兼容性判别器D_com；所述的生成器模块包括编码器E和解码器D；

在编码器E中输入参考服装图像和草稿图，输出一个高级图像特征d₀；将高级图像特征d₀输入至解码器D，得到合成服装图像；

将合成服装图像和真实服装图像输入真实性判别器，计算判别损失L_adv；

将合成服装对和真实服装对输入兼容性判别器，计算兼容性得分，进一步计算兼容性损失L_com；其中，所述的合成服装对包括合成服装图像和参考服装图像，所述的真实服装对包括真实服装图像和参考服装图像；