[发明专利]人脸图像超分辨率重建方法及计算机可读取的存储介质

说明书

本发明公开了一种人脸图像超分辨率重建方法及计算机可读取的存储介质，属于人脸图像处理技术领域。重建方法包括获取低分辨率人脸图像和训练完成的深度学习网络，将低分辨率人脸图像输入深度学习网络，低分辨率人脸图像信息沿着网络的深度方向传递，将第一精制特征图与第二精制特征图融合，图像重置机构以复合特征图作为输入，重建并输出高分辨率人脸图像等步骤。本发明的相邻两个双通道特征提取机构之间通过两个信道传递信息，不同种类的特征信息分布更加分散，信息过滤效果更好，测试表明，本发明提供的人脸图像重建方法性能先进。

技术领域

本发明属于人脸图像处理技术领域，具体地说，涉及一种人脸图像超分辨率重建方法及计算机可读取的存储介质。

背景技术

在实际的成像环境中，受多种因素影响，拍摄获得的图像可能存在分辨率较低的情况。为了解决该问题，一个方向是从硬件角度考虑，采用性能更好的硬件设备来提高成像效果，但是存在成本高和难以大规模普及应用等缺陷。相比之下，利用算法对低分辨率图像进行增强来提高图像分辨率是一个相对更实用的途径，由此产生了单图像超分辨率重建(Single image super-resolution, SISR)技术。到目前为止，相关研究人员已经从多种角度提出了大量的图像超分辨率重建算法，但是这些算法都没有针对低分辨率人脸图像的特点进行优化，直接将其应用于人脸图像分辨率提升任务时，重建效果有待进一步提高。

发明内容

针对上述现象，本发明提供一种人脸图像超分辨率重建方法及计算机可读取的存储介质，以针对性地提高对低分辨率人脸图像的超分辨率重建效果。

为了达到上述目的，本发明采用的解决方案是：一种人脸图像超分辨率重建方法，包括以下步骤：

S100、获取低分辨率人脸图像和训练完成的深度学习网络；所述深度学习网络中设有双通道特征提取机构和图像重置机构，多个所述双通道特征提取机构在所述深度学习网络中串联设置，所述双通道特征提取机构用于提取所述低分辨率人脸图像的特征信息；

S200、将所述低分辨率人脸图像输入所述深度学习网络，所述低分辨率人脸图像信息沿着网络的深度方向传递，直到最后一个所述双通道特征提取机构生成并输出第一精制特征图和第二精制特征图；

S300、将所述第一精制特征图与所述第二精制特征图融合，生成复合特征图；

S400、所述图像重置机构以所述复合特征图作为输入，重建并输出高分辨率人脸图像；高分辨率人脸图像的分辨率大于低分辨率人脸图像的分辨率。

其中，所述双通道特征提取机构提取特征的操作过程表示为如下数学模型：

其中，表示从所述双通道特征提取机构的第一入口输入其中的特征图，表示从所述双通道特征提取机构的第二入口输入其中的特征图，、、、和均表示步长为1的卷积运算，、、、和均表示第一型激活函数，表示第二型激活函数，表示元素对应乘积运算，表示将其中的特征图拼接起来，表示双头注意力单元，表示所述双头注意力单元输出的双头注意力图，表示函数激活后生成的特征图，表示函数激活后生成的特征图，表示函数激活后生成的特征图，表示函数激活后生成的特征图，表示特征图、特征图和特征图相加后生成的特征图，表示特征图、特征图和特征图做元素对应乘积后生成的特征图，表示函数激活后生成的特征图，表示所述双头注意力图与特征图做元素对应乘积后生成的特征图，表示从所述双通道特征提取机构的第一出口输出的特征图，表示从所述双通道特征提取机构的第二出口输出的特征图。

进一步地，、和的卷积核尺寸均为1*1，的卷积核尺寸为3*3，的卷积核尺寸为5*5。

进一步地，所述第一型激活函数为ReLU函数。

进一步地，所述第二型激活函数为Tanh函数。

进一步地，所述双头注意力单元生成双头注意力图的过程表示为如下数学模型：