[发明专利]基于VAE和cGAN的同时生成和编辑任意人脸属性的方法

说明书

本发明涉及基于变分自动编码器(VAE)和条件对抗神经网络(cGAN)的同时生成和编辑任意人脸属性的方法。本发明重点研究基于变分自动编码器(VAE)和条件对抗神经网络(cGAN)的编码器‑解码器体系结构，并开发了一个双向反馈生成网络，用于同时生成新的人脸和执行属性编辑。对生成的图像使用属性分类约束来保证指定属性的正确变化，并通过从隐空间中采样属性编码生成具有多个属性的人脸图像。该方法包含对属性强度的建模以支持属性插值和灵活地处理多种人脸属性。该方法解决了使用一个端到端的模型进行人脸生成和属性编辑的问题。通过定性和定量评估验证了该方法的有效性和先进性，实验结果表明其达到了与最先进的属性编辑技术相当的性能。

技术领域

本发明涉及一种图像生成和编辑方法，具体说是一种基于变分自动编码器(VAE)和条件对抗神经网络(cGAN)的同时生成和编辑任意人脸属性的方法。

背景技术

近几十年来，人脸属性生成和编辑一直是计算机视觉和图形学领域的一个重要问题，其目的是根据潜在的人脸图像分布，通过改变一些潜在参数来生成多样化和逼真的图像。此外，如果一个人想要修改一张脸的属性(例如，添加一个微笑，改变头发的颜色，甚至是性别)，这是一个更复杂和更具挑战性的修改。因此，需要所需的模型来捕获底层数据分布，它是一项具有挑战性的任务，因为图像样本的集合可能位于非常复杂的流形上。生成模型如变分自编码(VAE)和生成对抗网络(GAN)的研究使得人脸属性编辑的取得了长足的进展。然而一个单一的端到端的网络在保留人脸身份的同时能够编辑所期望的属性，还能生成新的人脸图像是困难的。

发明内容

针对上述技术不足，本发明的目的在于提供一种基于变分自动编码器(VAE)和条件对抗神经网络(cGAN)的同时生成和编辑任意人脸属性的方法。该方法可以解决同时修改输入人脸的面部属性，并生成具有所需属性的新面孔的问题。1、将编解码器体系结构与连接网络相结合，形成端到端网络。2、使用编码器网络将真实图像映射到潜在向量。通过这种方法，我们明确地建立了潜空间与真实人脸图像空间的关系，避免了在生成不同样本时发生模式坍塌的问题。3、引入了连接网络来控制VAE中解耦与重建之间的权衡，即在连接网络与潜在空间之间增加了L₁损失。这种改进使得编码器网络能够尽可能地解开人脸图像中的纠缠因素，缓解了VAE中图像的解耦与重建之间的权衡问题。

本发明的目的是通过以下的技术方案实现的：

基于VAE和cGAN的生成人脸和属性编辑的方法，包括以下步骤：

S1数据采集步骤：采集真实人脸图像，对每张人脸的属性进行人工标注，并建立人脸图像和标签的配对集合；

S2建模步骤：基于VAE和cGAN的方法联合损失函数建立生成和编辑模型，用于实现同时生成新的人脸和编辑人脸任务；所述该模型包括五个模块：

编码器模块，对图像进行编码得到人脸图像的隐藏编码特征；

解码器模块，利用隐藏编码特征、可编辑属性，生成编辑后人脸图像；

分类器模块，对编辑后人脸图像进行处理，输出包含编辑属性的人脸特征，进一步实现对编辑后人脸图像的编辑属性的识别分类；

判别器模块，过滤编辑后人脸图像的编辑属性，输出不包含编辑属性的人脸特征，用于判别编辑后人脸图像的真实性；所述真实性为判别当前编辑后人脸图像是否为人脸图像；

反向连接模块，将分类器模块和判别器模块的输出特征转化为隐藏编码输出给解码器模块；

S3训练步骤：输入采集的图像联合损失函数,迭代训练网络模型的参数、优化网络模型；

S4实际处理步骤：采集待处理的人脸图像输入至该优化后的模型，并输入可编辑属性，自动输出符合编辑属性的人脸图像。