[发明专利]一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

摘要

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法属于数字图像/视频信号处理领域，首先设计了人脸细节信息增强的处理流程；然后根据此流程进行网络结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸验证准确性评估。本发明可完成含有LR人脸图像细节信息的增强，并提升人脸验证的准确性；其次，本发明的生成网络先完成图像高频信息的补偿，再由亚像素卷积完成图像放大，最后级联结构完成图像逐步放大，完成图像细节信息增强；属性约束模块与感知模块、对抗模型协同训练，一起微调生成网络重建图像的性能；最后，本发明将生成网络的重建图像输入人脸验证网络，人脸验证的准确性有所提升。

主权项

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，该方法的整体流程包括离线部分和在线部分；其特征在于，离线部分：包括训练样本库生成；网络训练；其中，训练样本库生成方法中包括HR图像人脸检测，人脸对齐和人脸降质；网络训练包括损失函数、优化算法的选取；在线部分：包括LR人脸图像特征提取；残差学习；图像放大；图像重建；重建后的人脸图像将被用来人脸验证；具体步骤如下：当输入图像含人脸对象时，先进行图像预处理，采用人脸检测，人脸对齐得到LR人脸图像，再对LR图像进行人脸图像复原；LR人脸图像复原包括特征学习和图像放大阶段；特征学习阶段包括特征提取、残差学习步骤，先对LR人脸图像进行特征提取，得到人脸图像的高频信息，再采用残差学习将LR人脸图像与它的高频信息相融合，得到LR高频信息融合图像；图像放大阶段包括图像放大，先对LR高频信息融合图像放大；重建图像；最后，为了验证人脸图像复原对人脸验证的影响，采用人脸验证模型测试其准确性；(2)对抗网络含有感知模块、对抗模块和属性约束模块；生成对抗网络包括一个生成网络和一个含三个子模块的对抗网络，三个模块的输入为成对的HR与GT即Ground Truth图像，它们的作用分别为：判断成对样本特征图的一致性、判断成对样本的1/0标签是否为1、判断HR图像的属性是否正确；生成网络由两个以上相同的残差子模块组合而成，每个子模块包括两个残差网络和一个亚像素模块；其中，残差网络由卷积层、Batch Normalization层和激活层堆叠而成，并采用跳跃连接将和Resnet模块的输入特征图与输出特征图进行融合；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块的输出作为生成网络的HR重建图像；对抗网络含有三个模块，分别为感知模块、对抗模块和属性约束模块；感知模块的网络结构分为a‑e五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成；感知模块的输入为成对的HR与GT图像，它们在感知模块的a‑e五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数；对抗模块包括特征学习和分类部分；特征学习部分由卷积层、激活层堆叠而成；将DCGAN中全连接层前的网络结构作为特征学习部分；分类部分含有一个全局平均池化层和线性层；对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值；属性约束模块与对抗模块的网络结构一致；在特征学习部分，属性约束模块与对抗模块的网络参数共享；在分类部分，属性约束网络针对影响人脸识别的重要属性进行分类；选取五种典型的人脸属性：“性别”，“年轻”，“黑发”，“金发”，“棕发”；属性约束网络的输出神经元仅对5种不同的人脸属性进行分类；(3)人脸验证准确性评估；人脸验证模块的输入为LR图像在GAN中生成网络的HR重建图像，输出为一个向量表示，采用欧几里得距离计算输出向量与真实向量之间的差异。