[发明专利]一种高低频成分融合的人脸超分辨率处理方法及系统

权利要求书

1.一种高低频成分融合的人脸超分辨率处理方法，其特征在于，包括以下步骤：

S1：构建包含高分辨率人脸图像库T_c及其对应的中度低分辨率人脸图像库T_b和重度低分辨率人脸图像库的训练库T_a，构建基于通用图像的高分辨率通用图像库和对应低分辨率通用图像库；具体地，

将高分辨率人脸图像的眼睛和嘴巴位置对齐得到库T_c；对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的中度低分辨率人脸图像库T_b；对中度低分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的重度低分辨率人脸图像库T_a；

S2：采用相同的分块方式将中度和重度待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块，中度和重度待处理低分辨率人脸图像分别表示为由下采样得来，下采样倍数和T_a由T_b下采样的倍数相同；

S3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，具体过程为：

为高分辨率人脸图像库中每一个图像块，从高分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；

为低分辨率人脸图像库中每一个图像块，从低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；

S4：对待处理低分辨率人脸图像每一块，首先基于低分辨率人脸训练库和高分辨率人脸训练库，求取其中的低频成分；具体过程包括以下子步骤：

S4.1：对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其最近邻块，称为直接锚点近邻块；

S4.2：利用对应关系，分别从低分辨率训练块集合和高分辨率训练块集合中找到直接锚点近邻的对应块集的索引集合，标记为Nin，即称之为输入待处理低分辨率人脸图像块的低频近邻索引集合；

S4.3：根据索引集合Nin，从重度低分辨率人脸训练块集合中度低分辨率人脸训练块集合中，分别取出近邻块集，记为和其中i表示分块的标号，j的取值范围为j∈Nin；

S4.4：根据和两个近邻集合，和待处理低分辨率人脸图像块求出最佳近邻系数w，该子步骤具体为：

求出最佳近邻系数w，即令中度和重度重建误差均达到最小，来约束最佳近邻系数w为最优，其中中度重建误差最小用公式表述为：

其中是中度低质量图像；D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值，根据经验设置；λ为实数值，同样根据经验设置；经过符号简化，上式可以重新写为：

令和分别代表重度待处理低分辨率图像的第i块和中度待处理低分辨率图像的第i块，所以有用J对w求导并取零，即：可以得到最佳近邻系数：

其中

S4.5：根据最佳近邻系数w，由以下公式求出重建的高分辨率图像块作为中间结果：

其中表示根据索引集合Nin，在高分辨率训练块集合中取出的近邻块集，其中j∈Nin；

S4.6：根据重建的中间图像块结果可以求出低频信息

其中操作符ds(·)代表下采样过程，根据经验获取，在这里具体过程为：特定参数的高斯滤波；

S5：对得到的待处理低分辨率人脸图像低频信息基于低分辨率通用图像库和高分辨率通用图像库，求取其中的高频成分，具体过程包括以下子步骤：

S5.1：搭建三层卷积神经网络，具体过程为：

第一层CNN：对输入图片的特征提取过程，利用卷积网络的性质提取图像块的特征，公式形式为：

F₁(Y)＝max(0,W₁*Y+B₁)

其中Y表示输入的训练样本块，F₁(·)表示第一层的处理操作，F₁(Y)表示第一层处理结果，W₁表示n1个支持三维矩阵的卷积核，n1表示卷积的个数，B₁是一个n1维的特征向量，n1为经验值；

第二层CNN：非线性映射：对第一层提取的特征的非线性通过三维矩阵形式的卷积核映射到另一种特征尺度上，公式形式为：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)

其中F₂(·)表示第二层的处理操作，F₂(Y)表示第二层处理结果，W₂表示n2个三维的滤波器，B₂为一个n2维度的特征向量，n2为经验值；

第三层CNN：用三维矩阵形式的卷积核重新做一次重构，对映射后的特征进行重建，生成高分辨率图像，公式形式为：

F(Y)＝W₃*F₂(Y)+B₃

其中F(·)表示第三层的处理操作，F(Y)表示第三层处理结果，物理意义为高分辨率图像像素矩阵，W₃表示c个三维的滤波器，B₃为一个c维度的特征向量，c为经验值；

S5.2：利用低分辨率通用图像库和高分辨率通用图像库训练出神经网络参数；利用低分辨率通用图像库和高分辨率通用图像库训练出三层神经网络所需参数，即：W₁，W₂，W₃，B₁，B₂，B₃；

S5.3：将训练好的参数、网络构架一起，用S4步骤恢复出的待处理低分辨率人脸图像低频信息来做输入，预测出结果作为高分辨率人脸图像块的结果；

S6：拼接高分辨率人脸图像块得高分辨率人脸图像