[发明专利]一种基于平衡栈式生成式对抗网络的人脸属性编辑方法

说明书

本发明公开了一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，包括步骤：1)获取包含人脸图像和属性标签的数据集，并进行预处理；2)根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络；3)利用预处理的数据集，针对不同人脸属性，采用加权学习和残差图像生成方式，独立训练所有条件生成式对抗网络；4)将所有训练好的生成器堆叠起来形成栈式结构，针对预处理的未知人脸图像，依次编辑对应人脸属性。本发明在训练过程中运用加权学习和残差图像生成方式，在属性编辑过程中采用栈式结构，最终使得模型能够有效应对数据不平衡问题，增强对少数类样本的编辑能力，提升在属性无关区域的图象生成效果，避免了属性纠缠的问题。

技术领域

本发明涉及图像编辑和机器学习的技术领域，尤其是指一种基于平衡栈式生成式对抗网络的人脸属性编辑方法。

背景技术

人脸属性编辑致力于在给定人脸图像下，改变特定属性，例如添加眼镜，去掉胡子，使皮肤变白甚至替换性别。这一视觉任务自身取得了图像语义上的可控性，以及细粒度的图像变换。同时伴随着社交媒体上自拍浪潮的兴起，网络视频的广泛传播，游戏或动画角色的设计智能化，互联网上每年产生大规模的人脸图像数据，以及对人脸属性编辑日益强烈的需求。因而人脸属性编辑被广泛应用于美颜、视频修复、角色合成等应用场景。此外，编辑特定属性后的人脸图像，亦可用来为其他视觉类机器学习任务做数据增强，例如人脸识别、人脸检测、人脸跟踪。

近年来生成式对抗网络凭借其强大的图像生成能力，成为人脸属性编辑研究中的热门模型，取得了高保真度、高多样性的编辑结果。给定一个包含人脸图像和属性标签的数据集，在生成式对抗网络中，训练好的生成器可以操纵特定的图像属性以欺骗判别器，而判别器则可用来区分真实图像和生成器合成的虚假图像。编辑后图像的质量便在生成器和判别器的相互对抗中，得到提高。然而，人脸多属性编辑仍旧是一个富有挑战性的艰难任务，原因是属性组合的数量多，即属性本身数量多，而每个属性又包含了多个值。与其他机器学习任务相似，样本，即成对的人脸图像和属性标签的收集是特别昂贵且受限的，因此它们无法代表完整得代表所有属性组合。由于样本的缺乏以及不平衡，当前的多属性编辑方法会遇到三个问题。第一个问题便是属性纠缠，即一个属性的编辑会改变其他属性，同时一个属性的平衡性调整会影响其他属性的平衡性。这是因为现有方法无法拥有足够的样本去区分不同属性。其次。由于缺乏足够样本去学习，生成的图像在属性无关的区域学习的不够令人满意，表现在高噪声，编辑不精确。最后，现有方法对少数类属性编辑得效果较差，这是因为它们往往对所有样本平等的对待，以至于忽视了少数类属性的样本，而且多属性同时学习导致现有方法无法针对每个属性单独进行平衡性调整。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，在训练阶段利用多个条件生成式对抗网络独立得学习多个属性的编辑，避免了属性纠缠的问题。此外，每个条件生成式对抗网络直接学习目标是残差图像，提升了属性无关区域的生成效果。同时，采用了加权学习，使得少数类属性值的样本能够获得更大的学习权重，从而提升在少数类属性值上的编辑效果，妥善应对不平衡数据集带来的挑战。

为实现上述目的，本发明所提供的技术方案为：一种基于平衡栈式生成式对抗网络的人脸属性编辑方法，该方法是采用加权学习和训练多个条件生成式对抗网络的方式，解决属性不平衡问题，并堆叠所有训练好的条件生成式对抗网络的生成器，形成栈式结构，解决属性纠缠问题，以及利用残差图像生成方式，解决图像编辑不准确问题；其包括以下步骤：

1)获取包含人脸图像和属性标签的数据集，并进行预处理；

2)根据人脸图像的尺寸，构建多个由成对生成器和判别器构成的条件生成式对抗网络；

3)利用预处理的数据集，针对不同人脸属性，采用加权学习和残差图像生成方式，独立训练所有条件生成式对抗网络；

4)将所有训练好的生成器堆叠起来形成栈式结构，针对预处理的未知人脸图像，依次编辑对应人脸属性。