[发明专利]一种基于深度学习的服饰图像外观属性修改方法

说明书

本发明公开了一种基于深度学习的服饰图像外观属性修改方法，该方法主要包括：获取颜色属性、领口样式属性和袖子长度属性这三个服饰外观属性的子数据集；建立基于深度学习的服饰图像外观属性修改模型；使用三个子数据集对基于深度学习的服饰图像外观属性修改模型进行训练；使用训练好的基于深度学习的服饰图像外观属性修改模型对待测试服饰图像进行外观属性修改。本发明提出了一种将属性编码与内容编码分离表示的方法，使用这种方法进行服饰图像外观属性迁移，可以提升生成服饰图像的质量和外观属性迁移的成功率，同时保证生成服饰图像中与迁移的外观属性不相关的部分维持原状。

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习的服饰图像外观属性修改方法。

背景技术

图像编辑和转换一直是计算机视觉领域的热门研究方向。能够对图像中的某些属性进行编辑和迁移在特定场景下是非常有用的，例如用户对于图像中的某个视觉属性不满意的情况。对于购物网站来说，如果能够以让用户以低学习成本来修改商品服饰图像的属性，无疑可以大幅提升用户体验。

近年来深度学习和生成对抗网络得到了快速发展。越来越多的图像编辑任务都开始利用生成对抗网络(GAN)完成。然而已有的大部分工作都是在人脸数据集上完成，而鲜少在服饰图像这个更加广阔的应用场景上实现。相比起人脸图像，服饰图像属性编辑具有较高的难度，这主要是由于服饰图像种类繁多、属性复杂，更有颜色、纹理这种人脸数据上不具有的属性。

利用生成对抗网络对于服饰图像属性进行迁移有两大挑战，首先是如何生成高质量的属性迁移图像，使得得到的图像看起来真实；其次是在迁移属性时，如何保证不会影响原图的其他属性。本发明通过设计网络结构与损失函数，将属性和内容分开处理，实现了上述要求，实验证明这是一个有效的尝试。

发明内容

本发明的目的在于，提出一种基于深度学习的服饰图像外观属性修改方法，这种方法主要包括数据集的获取与清洗、网络结构的设计、网络训练方法和损失函数的选择。

本发明提出的一种基于深度学习的服饰图像外观属性修改方法，包括以下步骤：

步骤1：在公开的服饰属性数据集Shopping100k中，通过Category属性筛选出上半身服饰，并分别根据颜色属性、领口样式属性和袖子长度属性这三个服饰外观属性建立三个子数据集：颜色属性数据集Data_color、领口样式属性数据集Data_collar以及袖子长度属性数据集Data_sleeve，其中，颜色属性数据集Data_color包括38359张仅在颜色属性上进行了分类标注的服饰图像，即包括38359张真实样本图像；领口样式属性数据集Data_collar包括18076张仅在领口样式属性上进行了分类标注的服饰图像，即包括18076张真实样本图像；袖子长度属性数据集Data_sleeve包括45791张仅在袖子长度属性上进行了分类标注的服饰图像，即包括45791张真实样本图像；

步骤2：建立基于深度学习的服饰图像外观属性修改模型，所述基于深度学习的服饰图像外观属性修改模型共包括四个独立的神经网络模型，分别为：基于深度卷积神经网络的属性编码器E_a，用于提取输入服饰图像的属性相关的特征，得到输入服饰图像的属性编码；基于深度卷积神经网络的内容编码器E_c，用于提取输入服饰图像的内容特征，输出为输入服饰图像的内容编码；解码器Dec，接收属性编码和内容编码作为输入，按照属性编码以及内容编码表示的特征生成伪图像；判别器D，将来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像作为输入，输出为对输入的真伪判别结果以及输入在颜色、袖子长度或领口样式这三个服饰外观属性上的分类结果；