[发明专利]一种基于预训练生成模型的人脸超分辨方法

说明书

本发明属于计算机视觉、图像处理领域，涉及一种基于预训练生成模型的人脸超分辨方法，包括：步骤一、采集并将低分辨率图像输入至特征提取模块，提取特征信息；步骤二、将特征信息输入至编码器，得到通道数为输入尺寸8倍的隐式矩阵，隐式矩阵通过分离模块特征分解后获得隐式向量，与人脸标签数据通过级联方式，分别输入至预训练生成模型中，得到生成特征；步骤三、将生成特征传递给解码器，并融合特征提取模块提取的特征信息，经解码操作后输出目标高分辨率图像。本发明可以将低分辨率的人脸进行高倍率的放大，最高可以获得64倍的超分结果，并且超分辨结果保持较好的保真性，使放大的图像在保真度和纹理真实度方面有更好的改进。

技术领域

本发明属于计算机视觉、图像处理领域，涉及一种基于预训练生成模型的人脸超分辨方法。

背景技术

图像分辨率的大小直接关系到图像的质量，更高的高分辨率意味着包含更多的细节信息，蕴含更大的应用潜能。然而在实际情况下很多图像面临着低分辨率的问题，影响着后续的高层次视觉处理。随着计算机视觉技术的不断发展，尤其是深度学习的发展，图像画质增强方法也越来越多，超分辨技术就是一项图像画质增强的有效手段，可以显著提升图像的分辨率。图像超分辨率技术通过算法手段将低分辨率的图像上采样到高分辨率的图像，在安防监控、医学检测、刑事侦查等多个领域都具有非常重要的应用价值。例如在安防监控场景中，由于摄像头和周围环境等因素，拍摄到的目标会存在模糊，导致无法识别目标，通过超分辨技术可以重构出较为清晰的画面，提高目标人脸的分辨率，从而对快速定位到目标人物提供帮助。因此，图像超分辨技术作为一种低层的图像处理方法，可以为后续的目标检测识别等高层的处理方法提供有效的支持。

目前有很多关于图像超分辨的网络，在处理各种各样的场景、物体方面都有了比较明显的提升，针对人脸超分辨方面的网络较少，很多方法都是通过构建相应的人脸数据，然后用已有的网络进行训练，虽然取得了一些进步，但是针对低分辨率的人脸，超分效果不是很好，生成对抗网络目前广泛应用于超分辨率任务中，其目的是丰富复原图像中的纹理细节。但是常见的生成对抗网络方法会限制逼近自然图像流形的能力，或者由于低维隐码和图像空间中的约束不足以指导恢复过程，因此这些方法经常产生伪像和不自然的纹理，人脸的保真度较低。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种基于预训练生成模型的人脸超分辨方法，通过引入大型预训练的人脸生成模型，用于提供丰富的人脸细节特征，通过将其嵌入到一个基于残差注意力的编解码模块中，可以基于编码模块提取的信息，引导预训练生成模型朝着输入人脸的特征进行增强，并通过解码器融合多种预训练生成模型和原始的输入特征，进一步提高人脸图像恢复的质量，具体技术方案如下：

一种基于预训练生成模型的人脸超分辨方法，包括以下步骤：

步骤一、采集并将低分辨率图像输入至特征提取模块，提取特征信息；

步骤二、将特征信息输入至编码器，得到通道数为输入尺寸8倍的隐式矩阵，隐式矩阵通过分离模块特征分解后获得隐式向量，与人脸标签数据通过级联方式，分别输入至预训练生成模型中，得到生成特征；

步骤三、将生成特征传递给解码器，并融合特征提取模块提取的特征信息，经解码操作后输出目标高分辨率图像。

进一步的，所述特征提取模块由2个3×3×64×1卷积层和6个串联的残差通道注意力单元组成，所述3×3×64×1卷积层，3×3表示卷积核尺寸，64表示卷积核个数，最后一位1表示卷积核的运动步幅；所述残差通道注意力单元包括残差单元和通道注意力单元，所述残差单元提取输入的低分辨率图像的特征，将该特征输入至通道注意力单元获取通道校准系数向量β，将通道校准系数向量β与通道注意力单元的输入特征进行重新校准后作为残差通道注意力单元的输出。

进一步的，所述通道注意力单元包括全局平均池化层、ReLU非线性变换层、两个卷积层和Sigmoid非线性变换层。