[发明专利]一种基于核主成分分析的人脸超分辨率重构方法

说明书

技术领域

本发明涉及一种人脸超分辨率技术，特别涉及一种基于核主成分分析的人脸超分辨率重构方法。

背景技术

随着现代社会越来越重视公共安全，在很多公共场合，如银行、超市、街道等地方安装的视频监控设备也越来越多。但是居于摄像机成本和存储视频文件空间的考虑，这些视频监控设备的像素一般比较低。而且，当人距离摄像机比较远时，所拍摄到的人脸图像也将会是非常小的。这样的低分辨率图像在工程中很难直接应用，从而成为人脸识别和面部表情分析的最大障碍之一。

人脸超分辨率技术是一种从低分辨率人脸图像中获得对应的高分辨率人脸图像的技术。在过去的几十年里，图像的超分辨率技术取得了很大的进展，一般可将图像的超分辨率技术分为基于重建的技术及基于学习的技术，基于重建的技术一般利用同一场景的多帧低分辨率图像各自包含的不同亚像素信息来恢复一幅高分辨率图像；基于学习的技术可以利用数据库里的先验知识，通过训练库来建立不同分辨率图像之间的关系，再利用这种关系重构出高分辨率图像。一般来说，基于学习的技术在效果上要比基于重建技术要好。

对于人脸图像，由于每个人的图像都是由眼睛、鼻子、嘴巴等器官组成，各个面部器官都呈现特定的纹理特征。而且，经过人脸对齐后，可以近似认为每张图片中的每个器官所处位置是大致相同的。由于这种结构性特征，Baker和Kanda于2000年第一次提出了人脸超分辨率(Hallucination face)的概念，使得人脸超分辨率重构从图像的超分辨率技术中分离出来，作为一个相对较独立的研究领域，之后按使用方法的不同，可以将人脸超分辨率重构采用的方法可以分成两大类：1、基于概率模型的人脸超分辨率算法，该类方法把图像看成是一个随机变量，再结合最大后验概率模型来求解，该类方法一般需要精确的降采样模型，一定程度上限制了实际应用的范围；2、基于特征子空间的人脸超分辨率算法，这类方法主要是利用现有的一些子空间算法来学习不同分辨率图像之间的关系，利用这种关系来重构出高分辨率图像。重构后图像的效果一般取决于所采用的子空间算法本身的性质以及该子空间算法应用到人脸超分辨率上的方式。

核主成分分析(KPCA)是在经典的主成分分析(PCA)的基础上，通过引入核函数把数据非线性映射到一个高维特征空间中，然后在特征空间上利用传统的PCA技术来进行特征提取。近年来，由于KPCA的非线性性质，已经广泛应用于人脸识别领域和图像预处理领域。但是到目前为止，还没有KPCA应用于人脸超分辨率重构的技术公开，本发明首次将KPCA用于人脸超分辨率的重构，并取得很好的效果。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供一种可以从一幅低分辨率人脸图像重构出对应的高分辨率图像，改善人脸识别以及图像理解与分析效果的基于核主成分分析(KPCA)的人脸超分辨率重构方法。

本发明的目的通过下述技术方案实现：一种基于核主成分分析的人脸超分辨率重构方法，包括下述步骤：

(一)对训练图像通过将两只眼睛的中心、嘴巴的中心固定在特定坐标(假定把两只眼睛的中心、嘴巴的中心分别固定在坐标(r_x，r_y)，(l_x，l_y)，(m_x，m_y)上)上进行人脸对齐，对齐后作为高分辨率训练样本。再通过模糊、降采样得到低分辨率训练样本。把每个高分辨率训练样本及其对应的低分辨率训练样本看成是一对训练样本，由这些训练样本组成一个训练库。

(二)采用两步来完成人脸超分辨率的重构，第一步通过基于核主成分分析的全局模型来获得高分辨率全局人脸图像；第二步对第一步得到的高分辨率全局人脸图像进行残差补偿，因此将训练库中的训练样本分成两部分，一部分有N₁对训练样本，用于全局模型的训练；另一部分有N₂对训练样本，用于残差补偿的训练，并将残差补偿的低分辨率训练样本作为全局模型的低分辨率测试样本。