[发明专利]一种基于FP-SCGAN模型的妆容风格迁移方法

权利要求书

1.一种基于FP-SCGAN模型的妆容风格迁移方法，其特征在于，其FP-SCGAN网络包括PSEnc、FIEnc、MFDec以及马尔可夫判别器，网络的训练在生成器G与判别器D的相互博弈中进行，最终达到动态平衡时网络即收敛，训练具体包括以下步骤：

S10，得到风格特征：将未上妆图像x与已上妆图像y送入FIEnc中，经过特征提取、下采样和残差模块得到待迁移图片的面部特征c_x，c_y，并将妆容参考图像的关键区域送入PSEnc中，经过预训练VGG19网络进行特征提取以及特征金字塔对特征进行融合，得到风格特征s_x,s_y；

S20，得到参考妆容图像与待迁移图像融合的特征：将得到的风格特征送入到多层感知器中，使风格特征映射到特征空间，得到风格特征编码code_x,code_y，将得到的待迁移图片的面部特征以及风格特征编码送入MFDec中通过解码器AdaIN进行特征融合；同时，MFDec的浅层中使用AdaIN来引入特征，经过MFDec网络得到参考妆容图像与待迁移图像融合的特征x_y,y_x,x_x,y_y；

S30，优化判别器和生成器：固定生成器G的参数，计算生成器损失，用于优化判别器D，使得判别器D的辨别能力增强，随后进行反向传播，更新判别器参数,共有两个判别器，分别用于判别生成的上妆图像与去妆图像，二者结构上相同；固定判别器D的参数，计算判别器损失，用于优化生成器G，使得生成器G对判别器D的欺骗能力增强；

S40，计算各类损失：包括身份损失，该损失采用生成器重建待迁移图像；妆容损失，该损失引导关键区域妆容的迁移；局部vgg损失，该损失加强对关键区域语义信息的保留；全局vgg损失，该损失保证生成图像与原始图像语义信息相似；

S50，更新生成器参数：同时将x_y,y_x送入FIEnc中提取内容特征c_x,fake,c_y,fake；然后，将c_x,fake与code_x以及c_y,fake与code_y分别送入到MFDec中得到x_rec以及y_rec；进一步计算重建损失，该损失引导网络进行整体风格迁移的同时，保留原始图像的基本特征；最后进行反向传播，更新生成器参数。

2.根据权利要求1所述的方法，其特征在于，所述计算生成器损失的公式为：

其中，E_x～X表示未上妆图像的真实概率；E_y～Y表示已上妆图像的真实概率；E_x～X,y～Y表示生成图像的联合概率；D_x(·),D_y(·)表示采样自生成数据的判别器输出；D_x，D_y表示采样自真实数据的判别器输出；G(x,y)为将x以y的妆容为参考进行迁移；G(y,x)为将y以x的妆容为参考进行迁移。

3.根据权利要求1所述的方法，其特征在于，所述计算判别器损失的公式为：

其中，D_x(·),D_y(·)表示采样自生成数据的判别器输出，E_x～X,y～Y表示生成图像的联合概率，G(x,y)为将x以y的妆容为参考进行迁移；G(y,x)为将y以x的妆容为参考进行迁移。

4.根据权利要求1所述的方法，其特征在于，所述身份损失的计算公式为：

L_idt＝||G(x,x)-x||₁+||G(y,y)-y||₁

其中，G(x,x)为将x以x的妆容为参考进行迁移；G(y,y)为将y以y的妆容为参考进行迁移,||·||₁为L1损失，即计算真实数据与生成数据之间的绝对误差。