[发明专利]一种高低频成分融合的人脸超分辨率处理方法及系统

摘要

本发明公开一种高低频成分融合的人脸超分辨率处理方法及系统，包括：S1：构建多尺度训练库；S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：预处理模块，分别为高分辨率人脸图像库和重度低分辨率人脸图像库做预处理，为各个库准备预处理的近邻关系；S4：低频成分确定模块，为待处理低分辨率人脸图像确定低频成分；S5：高频成分确定模块，将低频成分确定模块的结果作为输入，利用神经网络确定重建图像块，作为待处理低分辨率人脸图像确定高频成分；S6：拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

主权项

1.一种高低频成分融合的人脸超分辨率处理方法，其特征在于，包括以下步骤：/nS1：构建包含高分辨率人脸图像库及其对应的中度低分辨率人脸图像库和重度低分辨率人脸图像库的训练库构建基于通用图像的高分辨率通用图像库和对应低分辨率通用图像库；/nS2：采用相同的分块方式将中度和重度待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块中度和重度待处理低分辨率人脸图像分别表示为由下采样得来，下采样倍数和由下采样的倍数相同；/nS3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，具体过程为：/n为高分辨率人脸图像库中每一个图像块，从高分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；/n为低分辨率人脸图像库中每一个图像块，从低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；/nS4：对待处理低分辨率人脸图像每一块，首先基于低分辨率人脸训练库和高分辨率人脸训练库，求取其中的低频成分；具体过程包括以下子步骤：/nS4.1：对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其最近邻块，称为直接锚点近邻块；/nS4.2：利用对应关系，分别从低分辨率训练块集合和高分辨率训练块集合中找到直接锚点近邻的对应块集的索引集合，标记为Nin，即称之为输入待处理低分辨率人脸图像块的低频近邻索引集合；/nS4.3：根据索引集合Nin，从重度低分辨率人脸训练块集合、中度低分辨率人脸训练块集合中，分别取出近邻块集，记为和其中i表示分块的标号，j的取值范围为j∈Nin；/nS4.4：根据和两个近邻集合，和待处理低分辨率人脸图像块求出最佳近邻系数w，该子步骤具体为：/n求出最佳近邻系数w，即令中度和重度重建误差均达到最小，来约束最佳近邻系数w为最优，用公式表述为：/n /n其中是中度低质量图像。D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值，根据经验设置。λ为实数值，同样根据经验设置。经过符号简化，上式可以重新写为：/n /n令和分别代表重度待处理低分辨率图像的第i块和中度待处理低分辨率图像的第i块，所以有我们用J对w求导并取零，即：可以得到：/n其中/nS4.5：根据最佳近邻系数w，由以下公式求出重建的高分辨率图像块作为中间结果：/n /n其中表示根据索引集合Nin，在高分辨率训练块集合中取出的近邻块集，其中j∈Nin；/nS4.6：根据重建的中间图像块结果可以求出低频信息号/n /n其中操作符ds(·)代表下采样过程，根据经验获取，在这里具体过程为：特定参数的高斯滤波；/nS5：对得到的待处理低分辨率人脸图像低频信息基于低分辨率通用图像库和高分辨率通用图像库，求取其中的高频频成分，具体过程包括以下子步骤：/nS5.1：搭建三层卷积神经网络，具体过程为：/n第一层CNN：对输入图片的特征提取过程，利用卷积网络的性质提取图像块的特征。公式形式为：/nF₁(Y)＝max(0,W₁*Y+B₁)/n其中Y表示输入的训练样本块，F₁(·)表示第一层的处理操作，F₁(Y)表示第一层处理结果。W₁表示n1个支持三维矩阵的卷积核，n1表示卷积的个数，B₁是一个n1维的特征向量，n1为经验值。/n第二层CNN：非线性映射：对第一层提取的特征的非线性通过三维矩阵形式的卷积核映射到另一种特征尺度上，公式形式为：/nF₂(Y)＝max(0,W₂*F₁(Y)+B₂)/n其中F₂(·)表示第二层的处理操作，F₂(Y)表示第二层处理结果，W₂表示n2个三维的滤波器，B₂为一个n2维度的特征向量，n2为经验值；/n第三层CNN：用三维矩阵形式的卷积核重新做一次重构，对映射后的特征进行重建，生成高分辨率图像，公式形式为：/nF(Y)＝W₃*F₂(Y)+B₃/n其中F(·)表示第二层的处理操作，F(Y)表示第二层处理结果，物理意义为高分辨率图像像素矩阵，W₃表示c个三维的滤波器，B₃为一个c维度的特征向量；/nS5.2：利用低分辨率通用图像库和高分辨率通用图像库训练出神经网络参数。利用低分辨率通用图像库和高分辨率通用图像库训练出三层神经网络所需参数，即：W₁，W₂，W₃，B₁，B₂，B₃；/nS5.3：将训练好的参数、网络构架一起，用S4步骤恢复出的待处理低分辨率人脸图像低频信息来做输入，预测出结果作为超分辨率人脸块的结果。/nS6：拼接高分辨率人脸图像块得高分辨率人脸图像。/n