[发明专利]一种人脸图像修复方法及系统

说明书

本发明提供一种人脸图像修复方法，包括：对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达；对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达；使用跨质量转移估计网络估计特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量编辑表达；使用预训练的图像恢复网络将编辑后的表达映射输出图像；在整个网络的联合损失约束下进行训练；使用训练好的网络进行人类图像修复。本发明无需成对的训练图像对，能够适用于真实图像中的未知退化，改善了现有技术需要成对的训练图像对，不贴合实际使用场景的问题。

技术领域

本发明涉及一种计算机视觉和图像处理领域的方法，特别涉及一种人脸图像修复方法及系统。

背景技术

人脸修复，旨在将一个低质量人脸图像(LQ)修复成相应的高质量人脸图像(HQ)。在过去的几年，基于深度神经网络的许多图像修复方法取得了巨大的成功。然而，图像修复是一个病态的问题，多个高质量图像退化后可为同一低质量图像，即一个低质量图像对应着多个高质量图像。在训练时，网络也受到这一对多关系的影响，拟合的是一个低质量图像对应多个高质量图像的平均，这导致了输出图像是模糊的。考虑到了这一点，有些方法使用了预训练的生成模型，这些预训练的模型由于在高质量图像数据集上训练，它们的网络参数具有生成高质量图像的特性。但是这些方法大多需要成对的训练图像有监督地训练网络参数，而真实世界中存在着经受各种未知退化的低质量图像，当它们的退化超出训练退化范围时，这些监督方法无法应对这些低质量图像。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种人脸图像修复方法及系统。

根据本发明的一个方面，提供一种人脸图像修复方法，包括：

对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达；

对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达；

使用跨质量转移估计网络估计特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量编辑表达；

使用预训练的图像恢复网络将编辑后的表达映射输出图像；

优选地，还包括在整个网络的联合损失约束下进行训练；使用训练好的网络进行人类图像修复。

优选地，所述对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达，包括：

输入高质量图像其中C为图像通道数，W为图像的宽，H为图像的高，利用高质量特征提取网络E_hq提取图像视觉特征其中k为特征维度，N对应所述预训练的图像恢复网络的网络层数。

优选地，所述对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达，包括：

输入低质量图像其中C为图像通道数，W为图像的宽，H为图像的高，利用低质量特征提取网络E_lq提取图像视觉特征其中k为特征维度，N对应所述预训练的图像恢复网络的网络层数。

优选地，所述使用跨质量转移估计网络估计特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量编辑低质量表达和高质量表达，包括：

根据低质量表达w_l与高质量表达w_h在特征空间中，由跨质量转移估计网络估计转移向量Δ；

使w_l+Δ对应的图像在判别器判别的高质量图像域，w_h-Δ对应的图像在判别器判别的低质量图像域；

通过转移向量Δ编辑低质量表达w_l与高质量表达w_h，获得编辑后的表达。