[发明专利]一种基于FP-SCGAN模型的妆容风格迁移方法

说明书

本发明公开了一种基于FP‑SCGAN模型的妆容风格迁移方法，将特征金字塔与SCGAN算法结合。FP‑SCGAN网络共包括四个部分：PSEnc、FIEnc、MFDec以及马尔可夫判别器。PSEnc用于提取参考妆容特征，FIEnc用于提取待迁移图片的面部特征，MFDec用于将原图脸部特征和参考图像的妆容特征进行融合，马尔可夫判别器用于度量生成分布与实际分布之间的距离。该改进算法能够解决妆容迁移时眼眶存在不自然的边缘，较淡的眼妆无法迁移等问题，相比较于目前主流的SCGAN妆容迁移算法，迁移效果得到提升。

技术领域

本发明属于妆容迁移方法技术领域，涉及一种基于FP-SCGAN模型的妆容风格迁移方法。

背景技术

计算机视觉是深度学习领域最热门的研究领域之一，目前在各领域应用广泛。伴随着图像处理算法发展应用，短视频行业发展也随之加速，出现了越来越多的相机滤镜、美颜、特效等功能，吸引了大量用户。这些功能的应用，都与图像处理算法中的风格迁移算法密不可分。

图像风格迁移的目标是将参考图片的风格迁移到另一张图片或多张图片中。在神经网络之前，图像风格迁移有一个共同的思路：分析某一种风格的图像，建立一个数学或者统计模型，再改变要做迁移的图像让它能更好的符合建立的模型。但这样做有一个很大的缺点：一个程序基本只能做某一种风格或者某一个场景。因此基于传统风格迁移研究的实际应用非常有限。目前，风格迁移算法主要是基于深度学习，采用神经网络对风格图像以及待迁移图像进行特征提取，特征融合后上采样还原图像，实现风格迁移。

当前有许多风格迁移算法着重研究人脸属性的迁移，其中妆容迁移时一种典型的人脸属性迁移。基于GAN的妆容迁移算法在众多算法中有着非常好的表现。SCGAN可以很好地将参考妆容迁移到目标图像上，即使对于妆容位置差异很大的目标依然能产生很好的迁移效果。但是迁移的过程中容易出现眼眶存在不自然的边缘，较淡的眼妆无法迁移等问题。

发明内容

本发明针对现有技术的不足，提出一种基于FP-SCGAN模型的妆容风格迁移方法，结合特征金字塔与SCGAN的生成妆容迁移网络FP-SCGAN，可以有效地解决这些问题，使迁移效果得到提升。包括以下步骤：

其FP-SCGAN网络包括PSEnc、FIEnc、MFDec以及马尔可夫判别器，网络的训练在生成器G与判别器D的相互博弈中进行，最终达到动态平衡时网络即收敛，训练具体包括以下步骤：

S10，得到风格特征：将未上妆图像x与已上妆图像y送入FIEnc中，经过特征提取、下采样和残差模块得到待迁移图片的面部特征c_x，c_y，并将妆容参考图像的关键区域送入PSEnc中，经过预训练VGG19网络进行特征提取以及特征金字塔对特征进行融合，得到风格特征s_x,s_y；

S20，得到参考妆容图像与待迁移图像融合的特征：将得到的风格特征送入到多层感知器中，使风格特征映射到特征空间，得到风格特征编码code_x,code_y，将得到的待迁移图片的面部特征以及风格特征编码送入MFDec中通过解码器AdaIN进行特征融合；同时，MFDec的浅层中使用AdaIN来引入特征，经过MFDec网络得到参考妆容图像与待迁移图像融合的特征x_y,y_x,x_x,y_y；

S30，优化判别器和生成器：固定生成器G的参数，计算生成器损失，用于优化判别器D，使得判别器D的辨别能力增强，随后进行反向传播，更新判别器参数,共有两个判别器，分别用于判别生成的上妆图像与去妆图像，二者结构上相同；固定判别器D的参数，计算判别器损失，用于优化生成器G，使得生成器G对判别器D的欺骗能力增强；