[发明专利]一种保留用户特征的自适应五官融合方法、装置以及设备

说明书

本发明公开了一种保留用户特征的自适应五官融合方法、装置、设备及存储介质，其包括：对源人脸图像以及模特参照图进行预处理，得到第一人脸图以及第二人脸图，其中，所述预处理包括人脸对齐和人脸裁剪，所述模特参照图用于将所述模特参照图中的五官部位融合至所述源人脸图像的参照图；将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，其中，所述五官融合模型包括对应每一五官部位的五官子网络以及融合网络，所述五官子网络包括用于对所述第一人脸图以及所述第二人脸图进行特征提取与特征融合的SDFEF模块。能够保留用户自有的五官细节特征，使得融合效果更加自然和清晰。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种保留用户特征的自适应五官融合方法、装置以及设备。

背景技术

任意给定一张用户图和一张参考图，将参考图五官融合到用户图脸上的算法叫做五官融合算法。但是目前已有的绝大部分五官融合算法，更类似于“换脸”算法，即尽可能地让融合图与参考图的五官特征相似，很少考虑对用户五官特征的保留。这样会使已有算法只局限于换脸玩法的场景，但是用户在日常修图的时候，更希望在保留自己五官特征的情况下，融入参考图的一些比较美观的特征，从而达到自然变美的目的。

发明内容

有鉴于此，本发明的目的在于提出一种保留用户特征的自适应五官融合方法和装置以及设备，旨在解决现有的五官融合方式无法保留用户自有的五官细节特征，导致融合处理后不够自然的问题。

为实现上述目的，本发明提供一种保留用户特征的自适应五官融合方法，所述方法包括：

对源人脸图像以及模特参照图进行预处理，得到第一人脸图以及第二人脸图，其中，所述预处理包括人脸对齐和人脸裁剪，所述模特参照图用于将所述模特参照图中的五官部位融合至所述源人脸图像的参照图；

将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，其中，所述五官融合模型包括对应每一五官部位的五官子网络以及融合网络，所述五官子网络包括用于对所述第一人脸图以及所述第二人脸图进行特征提取与特征融合的SDFEF模块。

优选的，所述将所述第一人脸图以及所述第二人脸图输入预先训练得到的五官融合模型中，得到融合后的人脸结果图，包括：

分别提取所述第一人脸图以及所述第二人脸图的每一五官部位；

将至少一对五官部位输入对应的所述五官子网络中，得到对应五官部位的融合部位图，其中，所述一对五官部位为所述第一人脸图以及所述第二人脸图的同一五官；

将各个所述融合部位图输入所述融合网络中，得到第一结果图，将所述第一结果图贴回至所述源人脸图像，得到所述人脸结果图。

优选的，所述SDFEF模块包括用于所述特征提取的wavelet和CBAM，以及用于所述特征融合的self-attention和soft-mask。

优选的，所述五官融合模型基于GAN网络进行构建；所述五官融合模型的网络训练过程，包括：

基于人脸点将所获取的图像训练数据进行人脸对齐和人脸裁剪，得到人脸训练数据，其中，所述人脸训练数据包括用户图和参考图；

利用所述人脸点分别提取所述用户图和所述参考图的每一五官部位以及对应每一五官部位的五官蒙版；

分别将所提取的所述用户图的各个五官部位、所述参考图的各个五官部位以及各个五官部位的五官蒙版基于相同五官部位进行拼接后，输入至对应的每一所述五官子网络进行训练。

优选的，还包括：

利用损失函数Loss对所述用户图和所述参考图在网络训练过程中进行监督优化，并在所述损失函数Loss中通过引入自适应融合参数α平衡所述用户图和所述参考图的权重。