[发明专利]一种人脸图像超分辨率重构方法

权利要求书

1.一种人脸图像超分辨率重构方法，其特征在于：其包括以下步骤：

步骤1）、首先取输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)，低分辨率参考人脸图像I_k(x)经仿射平移算子平移p个单位后的图像为I_k(x+p)；

步骤2）、对步骤1）中输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)分别用复合重心有理插值算法进行插值放大，插值放大后的图像分别依次记为I_l↑和I_l↑,k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑，k来获得高分辨率图像光流场；令K个参考样本在x处的配准误差为E_r，k(x)，k=1、2、…、K，它可以由下式计算得到：式中代表利用光流场对I_l↑，k进行配准后生成的图像；将E_r，k(x)代入式(1.1)

bk(x)=[Σq∈ΩEr,k(x+q)+ueps]-2Σk[Σq∈ΩEr,k(x+q)+ueps]-2---(1.1)]]>

B_x＝diag[b₁(x)b₂(x)…b_k(x)]               (1.2)

其中,u_eps是一个用以避免分母为0正常数，Ω是一个邻域窗口,其大小为7×7像素点，反映了参考样本在像素点x附近平移q个单位的配准误差；求解B_x，所求得的B_x作为平衡局部嵌入系数的权重代入式(2)；配准后的高分辨率参考样本与目标图像在像素点x处具有近似相同的嵌入系数，其嵌入系数按如下公式计算：

{wp(x)|p∈C,x∈G}=argminΣxγ2×[h(x)-Σp∈Ch(x+p)wp(x)]TBx·]]>

[h(x)-Σp∈Ch(x+p)wp(x)]+Σp∈C(Σx|▿wp(x)|)---(2)]]>

式中:G代表高分辨率图像中所有可能的像素点位置;γ用于平衡式(2)中加号前后两项的贡献度大小,γ＝0.5；前一项反映了w_p(x)应当满足的局部嵌入关系；后一项是其总变差；为了求解式(2),采用基于时变偏微分方程的方法来迭代求解w_p(x)：

∂wp(x)∂t=▿(▿wp(x)|▿wp(x)|)-γhT(x+p)Bx×[Σq∈Ch(x+p)wq(x)-h(x)]]]>

式中为嵌入系数随时间t的变化量；离散化上式就可以求得局部嵌入系数w_p(x)的数值解；

所述复合重心有理插值算法具体为：

Step 2.1:将低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率图像中的每一个图像分别分解为红、绿、蓝三个色彩通道，在每个通道分别以4×4像素点大小的邻域窗口中的像素值作为插值节点对应的输入图像像素f(x_i,y_j)；

Step 2.2:由式（1）进行插值计算；每计算完一次，按照从左至右，从下到上进行扫描逐步计算所得的结果，把所计算的序列结果存入目标图像数组中，作为最后插值放大后的图像；放大后的图像分别记为I_l↑和I_l↑,k,k=1,2,…,K;

所述复合重心有理插值的数学模型为：

R(x,y)=Σi=0n-d1λi(x)ri(x,y)Σi=0n-d1λi(x)---(1)]]>

其中，

ψk(x,y)=Σl=kk+d2(-1)ly-ylf(x,yl)Σl=kk+d2(-1)ly-ylk=0,1,...,m-d2]]>

λi(x)=(-1)i(x-xi)(x-xi+1)...(x-xi+d1)]]>

λi(y)=(-1)k(y-yk)(y-yk+1)...(y-yk+d2)]]>

m,n为正整数，在这里取m＝3,n＝3；x_i,y_j为插值节点，f(x_i,y_j)为节点对应的输入图像像素值，R(x,y)为输出放大后图像像素值；

步骤3）、将步骤2）中求得的局部嵌入系数w_p(x)的数值解代入重构模型计算超分辨率重构图像；所述重构模型的计算方法为：首先，将局部嵌入系数w_p(x)的数值解代入式（3）对目标图像按下式（3）进行最大后验概率估计：

I^h=argIhminQ(Ih)=argIhmin||DBIh-I1||2+λΣx||Ih(x)-Σp∈CIh(x+p)wp(x)||2---(3)]]>

式中Q(I_h)是关于高分辨率人脸图像列向量的代价函数；Q(I_h)中的前一项是数据项,它代表所求的高分辨率图像，图像经过降质后应与已知的观察样本保持一致；后一项是先验项,它限定了重构图像中所有像素点与其邻近点之间所应满足的线性嵌入关系；参数λ用来平衡数据项和先验项的相对贡献大小；

式(3)中I_h(x)的计算公式为

Ih(x)=Σp∈CIh(x-p)wp(x)---(4)]]>

式中:p为像素点x与其邻近点之间的空间偏移量；C为以x为中心的邻域窗口,它限定了p的取值范围，则0≤p≤1；w_p(x)为对应于邻近点(x+p)的线性嵌入系数；

式(3)中I₁的计算公式如下：

I₁＝DBI_h+n                ⑸

I₁为低分辨率人脸图像的列向量，其维数为N₁；I_h为高分辨率人脸图像的列向量，其维数为N₂；B为由高斯型点扩散函数产生并且对应于成像过程中的模糊矩阵,其尺寸为N₂×N₂；D为大小为N₁×N₂的下采样矩阵；n为均值为0的加性高斯白噪声；

将式(3)中的Q(I_h)写成如下矩阵运算形式,即

Q(Ih)=||DBIh-I1||2+λ||(E-Σp∈CWpS-p)Ih||2---(6)]]>

式中:S_-p为平移量为p的平移算子,它是尺寸为N₂×N₂的矩阵;W_p为N₂×N₂的对角矩阵,其中每1个对角元素对应于1个像素点x在p方向的线性嵌入系数w_p(x)；E为与S_-p和W_p相同大小的单位矩阵；这样，Q(I_h)的梯度可以表示为

∂Q(Ih)∂Ih=2BTDT(DBIh-I1)+2λ(E-Σp∈CWpS-p)T(E-Σp∈CWpS-p)Ih---(7)]]>

利用式(7)求得关于I_h(x)的代价函数的梯度值，将所求得代价函数的梯度值代入下面式(8)用梯度下降法迭代求得最终的超分辨率重构目标图像

I^ht+1=I^ht-β∂Q(Ih)∂Ih|h=I^ht---(8)]]>

式中:t为当前的迭代次数；β为迭代步长,β取0.3；令迭代的初始值为对输入图像进行复合重心有理插值放大后的图像；

步骤3）、输出步骤2）中式(8)所估计的超分辨率重构目标图像