[发明专利]一种高低频成分融合的人脸超分辨率处理方法及系统

说明书

本发明公开一种高低频成分融合的人脸超分辨率处理方法及系统，包括：S1：构建多尺度训练库；S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：预处理模块，分别为高分辨率人脸图像库和重度低分辨率人脸图像库做预处理，为各个库准备预处理的近邻关系；S4：低频成分确定模块，为待处理低分辨率人脸图像确定低频成分；S5：高频成分确定模块，将低频成分确定模块的结果作为输入，利用神经网络确定重建图像块，作为待处理低分辨率人脸图像确定高频成分；S6：拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

技术领域

本发明涉及图像处理和图像恢复技术领域，具体涉及一种高低频成分融合的人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于图像捕获环境的限制，以监控环境为代表的实际条件中，目标嫌疑人的人脸有效像素低下，导致辨识过程和图像增强过程难度系数大大增加，因此需采用人脸超分辨率技术提升图像有效尺寸和有效分辨率，达到从低分辨率图像恢复到高分辨率图像的目的。

为达到监控视频人脸的有效恢复，改进算法甚至牺牲效率来换取算法的有效性和易用性还是很有必要的(人脸对齐、大图像库引起的)。具体做法除了引入有效计算工具和数据利用形式之外，还可以通过提出新的先验模型和图像模式为解决这种问题提供约束。

近年来，流形学习成为了人脸超分辨率的经典算法之一。这类方法的核心思想是：对高低分辨率两个样本空间，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形局部性质非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年， Chang^[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。Sung Won Park^[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2010年， Huang^[4]提出基于CCA(Canonical Correlation Analysis，CCA)的方法，通过将PCA (Principal ComponentAnalysis，PCA)空间延伸至CCA空间，进一步解决了这个问题。同年，Lan^[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以待处理图像中残存的高频细节为局部关系的距离度量准则，忽略了在低质量图像中也能保存较为完整的中低频信息。因此虽然在重建一般环境下低质量图像的过程中，可以得到不错的效果，但是面对以监控为代表的严重噪声图像时，高频细节的损毁导致了这种以高频细节为主要考虑对象距离度量准则不再精确，严重影响了局部关系描述的精准程度，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

文中涉及如下参考文献：

[1]H.Chang,D.Y.Yeung,and Y.Xiong,“Super-resolution through neighborembedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.