[发明专利]一种基于极深卷积神经网络的人脸超分辨率重建方法

说明书

本发明提供了一种基于极深卷积神经网络的人脸超分辨率重建方法，包括如下步骤：一、对高分辨率人脸图像进行不同倍数下采样并处理后，获得低分辨率人脸图像的训练集；二、对另外一组高分辨率人脸图像进行不同倍数下采样并处理后，获得低分辨率人脸图像的测试集；三、将步骤一得到的训练集和步骤二得到的测试集放入极深卷积网络进行训练，学习残差图像的映射，并得到相对应的卷积网络模型；四、将需要重建的低分辨率人脸图像输入步骤三学习得到的卷积网络模型得到重建的高分辨率人脸图像。本发明的有益效果是：所述基于极深卷积神经网络的人脸超分辨率重建方法可以较好的处理多尺度放大系数的超分辨率重建问题。

技术领域

本发明属于图像信息处理技术领域，具体地涉及一种基于极深卷积神经网络的人脸超分辨率重建方法。

背景技术

图像超分辨率重建是计算机视觉领域的一个经典的问题，旨在从给定的低分辨率(LR)图像推断具有关键信息的高分辨率(HR)图像，其中，人脸超分辨率重建是其中重要分支之一。人脸超分辨率重建在身份认证、智能监控等诸多领域有着广泛应用背景。当前超分辨率重建方法主要分为两类：(1)将超分看成是图像处理中的不适定问题，可引入先验信息解决该问题；(2)采用机器学习的方法，学习获得低分辨率和高分辨率图像之间的映射关系，从而实现图像超分辨率重建。

Baker和Kanada首先介绍了这一点，并且应用于诸如脸部识别、脸部对齐等诸多面部应用。由于其实际重要性而引起了越来越多的关注。随着机器学习的发展，许多基于学习的方法被提出来。

目前，基于学习的算法不但可以获得比其他超分辨率重建技术更好的视觉效果而且可以处理更大的放大倍数。其中，领域嵌入(Neighbor embedding,NB)的方法采用插补补丁子空间的策略。稀疏编码(Sparse Coding,SC)的方法使用基于稀疏信号表示的字典学习LR和HR之间的映射关系。最近，随机森林(Random Forest,RF)和卷积神经网络(Convolutional Neural Networks，CNN)也被用于提升重建精度。其中，Dong等人已证明CNN可以被有效应用于端到端的学习LR到HR的映射，其所提方法称为SRCNN(Single-ImageReconstruction Convolutional Neural Networks)。受到上述方法的启发，很多研究人员开始使用深度卷积网络来处理超分辨率重建的问题。Wang等人将稀疏编码与卷积网络相结合，以解决超分辨率方法中的一致性问题。Cui等人结合稀疏编码的专长和深度学习的优点，提出了一种大型的、任意缩放因子的级联网络。Nie等人将多个卷积网络串联起来进行人脸超分辨率重建。

尽管CNN被成功应用于处理人脸超分辨率重建问题并取得了不错的效果，但是，其在如下几个方面也存在局限性：第一，CNN严重依赖于小图像区域的前后关系；第二，随着层数的增加，感受野变大会导致重建图像细节易丢失；第三，训练收敛速度太慢。

发明内容

本发明的目的在于针对现有技术的缺陷或问题，提供一种基于极深卷积神经网络的人脸超分辨率重建方法。

本发明的技术方案如下：一种基于极深卷积神经网络的人脸超分辨率重建方法包括如下步骤：一、对高分辨率人脸图像进行不同倍数下采样并处理后，获得低分辨率人脸图像的训练集；二、对另外一组高分辨率人脸图像进行不同倍数下采样并处理后，获得低分辨率人脸图像的测试集；三、将步骤一得到的训练集和步骤二得到的测试集放入极深卷积网络进行训练，学习残差图像的映射，并得到相对应的卷积网络模型；四、将需要重建的低分辨率人脸图像输入步骤三学习得到的卷积网络模型得到重建的高分辨率人脸图像。

优选地，步骤一和步骤二中对高分辨率人脸图像进行不同倍数下采样并处理包括如下步骤：对高分辨率人脸图像进行不同倍数的下采样，得到不同的低分辨率人脸图像；对得到的低分辨率人脸图像进行扩张，并对每张低分辨率人脸图像进行重叠采样，得到一组重叠的低分辨率人脸图像块。

优选地，对低分辨率人脸图像进行四个方向的旋转变化和不同倍数的插值下采样。