[发明专利]一种保留用户特征的自适应五官融合方法、装置以及设备

权利要求书

1.一种保留用户特征的自适应五官融合方法，其特征在于，所述方法包括：

对源人脸图像以及模特参照图进行预处理，得到第一人脸图以及第二人脸图，其中，所述预处理包括人脸对齐和人脸裁剪，所述模特参照图用于将所述模特参照图中的五官部位融合至所述源人脸图像的参照图；

将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，其中，所述五官融合模型包括对应每一五官部位的五官子网络以及融合网络，所述五官子网络包括用于对所述第一人脸图以及所述第二人脸图进行特征提取与特征融合的SDFEF模块。

2.根据权利要求1所述的一种保留用户特征的自适应五官融合方法，其特征在于，所述将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，包括：

分别提取所述第一人脸图以及所述第二人脸图的每一五官部位；

将至少一对五官部位输入对应的所述五官子网络中，得到对应五官部位的融合部位图，其中，所述一对五官部位为所述第一人脸图以及所述第二人脸图的同一五官；

将各个所述融合部位图输入所述融合网络中，得到第一结果图，将所述第一结果图贴回至所述源人脸图像，得到所述人脸结果图。

3.根据权利要求1所述的一种保留用户特征的自适应五官融合方法，其特征在于，所述SDFEF模块包括用于所述特征提取的wavelet和CBAM，以及用于所述特征融合的self-attention和soft-mask。

4.根据权利要求1所述的一种保留用户特征的自适应五官融合方法，其特征在于，所述五官融合模型基于GAN网络进行构建；所述五官融合模型的网络训练过程，包括：

基于人脸点将所获取的图像训练数据进行人脸对齐和人脸裁剪，得到人脸训练数据，其中，所述人脸训练数据包括用户图和参考图；

利用所述人脸点分别提取所述用户图和所述参考图的每一五官部位以及对应每一五官部位的五官蒙版；

分别将所提取的所述用户图的各个五官部位、所述参考图的各个五官部位以及各个五官部位的五官蒙版基于相同五官部位进行拼接后，输入至对应的每一所述五官子网络进行训练。

5.根据权利要求4所述的一种保留用户特征的自适应五官融合方法，其特征在于，还包括：

利用损失函数Loss对所述用户图和所述参考图在网络训练过程中进行监督优化，并在所述损失函数Loss中通过引入自适应融合参数α平衡所述用户图和所述参考图的权重。

6.根据权利要求5所述的一种保留用户特征的自适应五官融合方法，其特征在于，所述损失函数Loss包括：

Loss＝L_gan+L_mse+α*(L_id-u+L_fd-u)+(1-α)*(L_id-r+L_fd-r)，

其中，L_gan和L_mse分别表示gan loss和mse loss，L_id-u、L_fd-u分别表示生成图和用户图的id loss、人脸点loss，L_id-r、L_fd-r分别表示生成图和参考图的id loss、人脸点loss。

7.一种保留用户特征的自适应五官融合装置，其特征在于，所述装置包括：

预处理单元，用于对源人脸图像以及模特参照图进行预处理，得到第一人脸图以及第二人脸图，其中，所述预处理包括人脸对齐和人脸裁剪，所述模特参照图用于将所述模特参照图中的五官部位融合至所述源人脸图像的参照图；

五官融合单元，用于将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，其中，所述五官融合模型包括对应每一五官部位的五官子网络以及融合网络，所述五官子网络包括用于对所述第一人脸图以及所述第二人脸图进行特征提取与特征融合的SDFEF模块。