[发明专利]基于语义分割的人脸上妆方法和系统

权利要求书

1.基于语义分割的人脸上妆方法，包括的步骤为，

收集数据，收集训练所需的人脸图像数据；

数据预处理，对收集的人脸图像数据进行预处理，人脸对齐和人脸裁剪；

其特征在于，步骤还包括，

人脸语义分割，对预处理后的数据通过BiseNet网络进行语义分割，并获得人脸图像的五官位置；

模型训练，对于语义分割后的人脸图像进行网络结构搭建和损失函数设计，得到训练的人脸模型；并对训练后的人脸模型进行妆容迁移训练，得到最终人脸妆容图像。

2.根据权利要求1所述的基于语义分割的人脸上妆方法，其特征在于，还包括，人脸模型测试，将无妆的测试图像和带妆的参考图像通过网络模型处理，将带妆的参考图像迁移至无妆的测试图像上。

3.根据权利要求1所述的基于语义分割的人脸上妆方法，其特征在于，损失函数设计包括感知损失，循环一致性损失、对抗损失和区域一致性损失；

感知损失：使用网络结构预训练VGG模型，分别提取输入图像x_i和生成图像x_s，通过公式1获得在不同层上的特征,

公式中，C_l,H_l,W_l分别代表第l层特征的通道数、高、宽；Feature()函数代表特征提取的过程，x代表输入图像；代表遍历每个位置，计算叠加之后的结果；

分别计算有妆和无妆图像迭代前后在不同层上的差异作为感知损失perp_loss，

其中x_i为输入图像；x_s为模型输出图像，

循环一致性损失：计算输入图像x_i和使用结果图像还原之后的图像x_r之间的像素差异；

cycle_loss＝||pixel(x_i)-pixel(x_r)|| 公式3

对抗损失：分别计算有妆和无妆的结果图像x_s的对抗损失，aversal_loss；

区域一致性损失：分别计算嘴巴、眼睛、腮红等区域的颜色损失，

consistent_loss＝color(x_mouth)+color(x_eye)+color(x_face) 公式4

损失函数为上面四个损失的叠加，

loss＝perp_loss+cycle_loss+adversal_loss+consistent_loss 公式5。

4.根据权利要求1所述的基于语义分割的人脸上妆方法，其特征在于，人脸图像包括有妆人脸图像数据和无妆人脸图像数据。

5.基于语义分割的人脸上妆系统，包括收集数据模块和数据预处理模块收集数据模块，收集训练所需的人脸图像数据；

数据预处理模块，对收集的人脸图像数据进行预处理，人脸对齐和人脸裁剪；

其特征在于，还包括，人脸语义分割模块和模型训练模块，

人脸语义分割模块，对预处理后的数据使用网络结构BiseNet模型进行语义分割，获得人脸图像的五官位置；

模型训练模块，对于语义分割后的人脸图像进行网络结构搭建和损失函数设计，得到训练的人脸模型；并对训练后的人脸模型进行妆容迁移训练，得到最终人脸妆容图像。

6.根据权利要求4所述的基于语义分割的人脸上妆系统，其特征在于，还包括人脸模型测试模块，将无妆的测试图像和带妆的参考图像通过网络模型处理，将带妆的参考图像迁移至无妆的测试图像上。