[发明专利]一种基于先验信息和注意力融合机制的人脸超分辨方法

说明书

本发明公开了一种基于先验信息和注意力融合机制的人脸超分辨方法，构建训练集和测试集；将训练集输入到粗略超分辨网络中进行处理得到I_SR1；将I_SR1分别输入到编码器网络和先验信息提取网络中得到特征图f和解析图p；将特征图f和解析图p输入到特征融合网络中融合得到f_Fusion；将f_Fusion输入到解码器网络中解码得到最终结果I_SR；构建联合损失函数，不断迭代使损失函数最小化，经过训练生成超分辨网络模型；本发明解决了人脸先验信息使用不充分的问题，利用注意力机制融合特征图和解析图，分别对不同的面部组件对应的解析图和特征图进行融合，增加了解析图对于人脸图像超分辨的指导作用，提高了重建效率，加强了重建效果。

技术领域

本发明属于数字图像处理方法技术领域，涉及一种基于先验信息和注意力融合机制的人脸超分辨方法。

背景技术

图像超分辨是计算机视觉和图像处理领域一个非常重要的研究问题，而图像超分辨重建技术在人脸图像上的应用被称为“人脸幻觉(Hallucination)”或人脸超分辨率(SR)，是指特定于人脸图像领域的超分辨率问题。在许多实际情况下，受物理成像系统和一些人为因素的限制，人脸图像始终是低质量的。这些图像往往分辨率不高，可辨识度较差，给通讯交流，刑侦破案，安全加强等造成了阻碍，所以人脸超分辨率具有重要的研究意义。随着深度学习技术的发展，基于深度学习的人脸图像超分辨方法取得了不错的效果。目前基于深度学习的主流人脸超分辨方法有如下几类：基于CNN网络的超分辨方法、基于GAN网络的超分辨方法、基于强化学习的超分辨方法、基于集成学习的超分辨方法、基于先验信息指导的人脸超分辨方法。

前面四种方法将人脸图像当作通用的图像进行处理，整体而言，通用图像的超分辨率算法同样适用于人脸图像超分辨率，其本质思想都是填充低分辨率图像的像素值，进而重建出高分辨率图像。而另一方面，人脸图像具有结构性强，特征明显的特点。例如，面部地标，面部解析图和面部热图等人脸先验信息，因而可以针对性地设计更精确的方法。通用的人脸超分辨率方法忽略了人脸先验信息，生成具有模糊人脸结构的人脸图像。现有的网络多是通过卷积操作提取图像特征，对于各通道、位置特征采用均等处理办法，实际上各特征有不同的重要程度，均等处理使得网络花费很多的计算资源在不重要的特征上面。

发明内容

本发明的目的是提供一种基于先验信息和注意力融合机制的人脸超分辨方法，解决了现有技术中存在的人脸先验信息使用不充分的问题，同时有效提升了人脸图像超分辨率重建的质量，包括PSNR和SSIM。

本发明所采用的技术方案是，一种基于先验信息和注意力融合机制的人脸超分辨方法，具体按照如下步骤实施：

步骤1，制作原始图像数据集并进行数据增强，然后将数据增强处理后的人脸图像输入到降质模型中处理得到低分辨率图像数据集，再将低分辨率图像进行双三次上采样得到与高分辨图像一样大小的图像作为低分辨率数据集，最将数据集划分为训练集和测试集；

步骤2，将步骤1获得的图像输入到粗略超分辨网络中进行处理得到粗略超分辨处理后的图像I_SR1；

步骤3，将步骤2中得到的训练集图像I_SR1输入到编码器网络中进行特征提取得到特征图f；

步骤4，将步骤2中获得的图像I_SR1输入到先验信息提取网络中提取先验信息得到解析图p，其中先验信息提取网络由ResNet和堆叠沙漏网络组成；

步骤5，将步骤3得到的特征图f和步骤4得到的解析图p输入到特征融合网络中进行解析图和特征图的融合，得到融合后的特征图f_Fusion。

步骤6，将步骤5中得到的特征图f_Fusion输入到解码器网络中进行解码，得到最终的超分辨处理结果I_SR。