[发明专利]一种基于上下文线性模型的人脸超分辨率处理方法及系统

摘要

本发明公开了一种基于上下文线性模型的人脸超分辨率处理方法及系统，通过构建训练库；采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；对待处理低分辨率人脸图像块，逐一构建毗邻块空间；用目标位置的块的每一个毗邻块，辅助估计出对应的高分辨率块，得到一个高分辨率块集合；通过分别计算待处理低分辨率图像和训练库中低分辨率图像中，目标块与毗邻块的关系，决定在低分辨率库中的权重系数；融合高分辨率估计集合为一个高分辨率估计块；最终拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

主权项

1.一种基于上下文线性模型的人脸超分辨率处理方法，其特征在于，包括以下步骤：步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库；步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具有交叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块；所述图像块为正方形，其边长为psize；U＝ceil((row‑dd)/(psize‑dd))，V＝＝ceil((column‑dd)/(psize‑dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽；步骤3：对待处理低分辨率人脸图像中的图像块X，确定其位置(i，j)，其中i＝1,2,3,...U，j＝1,2,3,...V；从待处理低分辨率人脸图像上，找到该图像块位于n近邻范围内的毗邻块，毗邻块边长为psize；通过计算(i，j)位置的图像块与毗邻块之间的相关性，确定该毗邻块的权重，将权重与该毗邻块，作为新的毗邻块；对于低分辨率人脸图像库，在(i，j)位置上的每一个在库图像块，以相同的方法确定其毗邻块；步骤4：用(i，j)位置的图像块的每一个毗邻块，辅助估计出对应的高分辨率(i，j)位置的图像块；其具体实现过程包括以下子步骤：步骤4.1：对于待处理低分辨率的输入块，与权重的毗邻块做拼接；对于在低分辨率人脸图像库的每一个(i，j)位置的图像块，与其权重的毗邻块做拼接，得到待处理低分辨率拼接块；步骤4.2：在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻；步骤4.3：利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块；其中权重其中ω_pq,k是ω_pq的第k个元素，k取值为1到K，K为近邻最大个数；B_(i,j)是待处理低分辨率拼接块，x_(i,j)是待处理低分辨率块，x_pq是x_(i,j)位于位置pq的毗邻块，p表示x_pq在x_(i,j)的毗邻块中的位置，q表示取近邻的个数，q＝1,2,…Nq；Nq是最大毗邻位置个数，α表示x_pq和x_(i,j)的相关性；是对应位置的在低分辨率人脸图像库的拼接块，表示(i，j)位置的低分辨率人脸图像库中的图像块，k＝1,2,…K，K表示近邻总数；表示在pq位置的毗邻块，表示和之间的相关性；ω_pq表示B_(i,j)被表示的权重；D是一个对角线方阵，对角线值为B_(i,j)距离所有拼接近邻的距离，D＝diag(d_pq,1,...,d_pq,K)，d_pq,k表示距离度量参数，k＝1,2，…，K；其中Dis(.)是欧氏距离计算，exp(.)表示指数运算；γ表示经验值获得的平衡参数；是的第k个元素，k的最大取值是的尺寸；步骤4.4：将求得的ω_pq和近邻集合相乘，得到对应高分辨率估计y_pq：的高分辨率空间的对应块，即是近邻集合步骤4.5：利用步骤4.1到步骤4.4处理完每一个毗邻块，得到高分辨率估计的集合：步骤5：求取权重其中，是在pq位置上的所有低分辨率人脸图像库中的图像块的平均值，是在(i,j)位置上的所有低分辨率人脸图像库中的图像块的平均值，λ是经验权重值，取值在[0,1]；为根据待测图像的在库表示求得的待测表示系数；为根据在库的样本平均值求得的经验表示系数；步骤6：融合高分辨率估计的集合为一个高分辨率估计y_(i,j)，步骤7：拼接高分辨率人脸图像块y(i,j)，得高分辨率人脸图像。