[发明专利]一种人脸图像修复方法及系统

权利要求书

1.一种人脸图像修复方法，其特征在于，包括：

对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达；

对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达；

使用跨质量转移估计网络估计所述特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量进行编辑表达；

使用预训练的图像恢复网络将所述编辑后的表达映射输出图像。

2.根据权利要求1所述的一种人脸图像修复方法，其特征在于，还包括：

在整个模型的联合损失约束下进行训练；

使用训练好的模型进行人脸图像修复。

3.根据权利要求1所述的人脸图像修复方法，其特征在于，所述对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达，包括：

输入高质量图像其中C为图像通道数，W为图像的宽，H为图像的高，利用高质量特征提取网络E_hq提取图像视觉特征其中k为特征维度，N对应所述预训练的图像恢复网络的网络层数；其中w_h称作高质量表达；

所述对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达，包括：

输入低质量图像其中C为图像通道数，W为图像的宽，H为图像的高，利用低质量特征提取网络E_lq提取图像视觉特征其中k为特征维度，N对应所述预训练的图像恢复网络的网络层数；其中w_l称作低质量表达。

4.根据权利要求3所述的人脸图像修复方法，其特征在于，所述使用跨质量转移估计网络估计所述特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量进行编辑表达，包括：

根据低质量表达w_l与高质量表达w_h在特征空间中由跨质量转移估计网络估计转移向量Δ；

使w_l+Δ对应的图像在跨质量估计网络的判别器判别的高质量图像域，w_h-Δ对应的图像在跨质量估计网络的判别器判别的低质量图像域；

通过所述转移向量Δ编辑低质量表达w_l与高质量表达w_h，经所述跨质量转移估计网络获得编辑后的表达w_l+Δ、w_h-Δ。

5.根据权利要求4所述的人脸图像修复方法，其特征在于，所述使用预训练的图像恢复网络将编辑后的表达映射为输出图像，包括：

所述图像恢复网络G为一个预训练的StyleGAN模型，该模型将编辑后的表达映射为输出图像，l_h＝G(w_h-Δ)，h_l＝G(w_l+Δ)。

6.根据权利要求5所述的人脸图像修复方法，其特征在于，所述使用预训练的图像恢复网络将编辑后的表达映射为输出图像，还包括：

利用高质量特征提取网络E_hq获取高质量人脸图像在特征空间中的表达，并使用估计的转移向量Δ编辑，最后利用图像恢复网络G将编辑后的表达映射为输出图像：

利用低质量特征提取网络E_lq获取低质量人脸图像在特征空间中的表达，并使用估计的转移向量Δ编辑，最后利用图像恢复网络G将编辑后的表达映射为输出图像：

7.根据权利要求5或6所述的人脸图像修复方法，其特征在于，所述使用预训练的图像恢复网络G将编辑后的表达映射为输出图像，还包括：

通过特征提取网络E_lq与E_hq提取的低质量表达w_l与高质量表达w_h能够通过所述图像恢复网络G恢复为低质量图像l_rec与高质量图像h_rec：

l_rec＝G(w_l)，h_rec＝G(w_h)。