[发明专利]一种基于先验信息和注意力融合机制的人脸超分辨方法

权利要求书

1.一种基于先验信息和注意力融合机制的人脸超分辨方法，其特征在于，具体按照如下步骤实施：

步骤1，下载原始图像数据集，包括原始人脸图像以及原始人脸解析图p～并进行数据增强，将数据增强处理后的原始图像输入到降质模型中处理得到低分辨率图像，再将低分辨率图像进行双三次上采样得到与高分辨图像一样大小的图像作为低分辨率数据集，最将数据集划分为训练集和测试集；

步骤2，将步骤1获得的训练集图像输入到粗略超分辨网络中进行处理得到粗略超分辨处理后的训练集图像I_SR1；

步骤3，将步骤2中得到的训练集图像I_SR1输入到编码器网络中进行特征提取得到特征图f；

步骤4，将步骤2中获得的训练集图像I_SR1输入到先验信息提取网络中提取先验信息得到解析图p，其中先验信息提取网络由ResNet和堆叠沙漏网络组成；

步骤5，将步骤3得到的特征图f和步骤4得到的解析图p输入到特征融合网络中进行解析图和特征图的融合，得到融合后的特征图f_Fusion。

步骤6，将步骤5中得到的特征图f_Fusion输入到解码器网络中进行解码，得到最终的超分辨处理结果I_SR。

步骤7，将步骤2获得的I_SR1和原始图像输入逐像素损失函数中计算得到损失函数l₁，将步骤4得到的解析图p和原始图像数据集中的解析图输入到逐像素损失函数中计算得到损失函数l₂，将步骤6得到的超分辨处理结果I_SR和原始图像输入到逐像素损失函数中计算得到损失函数l₃，将上面的损失函数加起来得到联合损失函数L_total。不断地迭代使损失函数最小化，经过训练最后生成超分辨网络模型；

步骤8，设定超分辨网络模型的超参数，将步骤1经过预处理好的测试集输入到超分辨率网络模型中，经过残差网络处理和损失函数最小化迭代，最后产生细节纹理清楚、效果更好的高分辨率人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：

步骤1.1，下载数据集，获得高清人脸图像，并使用matlab的resize函数将图像裁剪为128x128作为原始图像尺寸，来减少计算量；

步骤1.2，将数据集中的全部图像做镜像翻转，得到数据增强后的人脸数据集；

步骤1.3，对步骤1.2中得到的数据集进行降质处理，把数据集中所有图像输入到事先准备好的退化模型中去生成对应的低分辨率人脸图像，模拟现实中的退化过程；

步骤1.4，对步骤1.3中得到的低分辨率人脸图像做双三次上采样操作，得到与原始图像尺寸一致的低分辨率人脸图像I_LR；

步骤1.5，根据6：2：2的比例将步骤1.4中的数据集划分为训练集、验证集和测试集。

3.根据权利要求1所述的方法，其特征在于，所述步骤2具体为：

对步骤1.5中得到的低分辨率人脸图像I_LR进行粗略的超分辨处理，即将I_LR图像导入CoarseSRNet网络中处理得到I_SR1；如公式2所示，

I_SR1＝CoarseSRNet(I_LR) (2)

其中I_LR表示双三次上采样之后的低分辨率图像，CoarseSRNet表示采用的粗略超分辨率网络；

步骤2中的CoarseSRNet网络采用3x3卷积核和ReLU激活函数，使用64个滤波器生成64个特征映射，最终经过3x3卷积得到粗略超分辨之后的结果I_SR1。