[发明专利]单幅图像超分辨重建方法

摘要

本发明公开了一种单幅图像超分辨重建方法，用于解决现有图像超分辨重建方法图像重建精度低的技术问题。技术方案是首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典，然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算，进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块，大大增强了字典的表述能力，进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典，图像块提取步长取为s＝1时，对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时，能够达到PSNR＝31.53的重建精度，高于文献中PSNR＝29.68的重建精度。

主权项

一种单幅图像超分辨重建方法，其特征在于包括以下步骤：步骤一、建立单幅图像超分辨重建降质模型为：Y＝SHX+n         (1)其中，Y为观测到的低分辨率图像，X为需要估计的高分辨率图像，H为模糊矩阵，S为降采样矩阵，n为噪声矩阵；假设Ω＝{(ik，jk，tk)}N是从200幅图像中随机抽取的N个图像块的中心位置集合，k＝1，...，N是Ω中元素的索引，(ik，jk，tk)代表第tk幅图像第ik行jk列的位置，tk∈{1，...，200}，那么得到高低分辨率图像块对作为字典：其中，Dh为字典的高分辨率部分，Dl为字典的低分辨率部分；Dhk和Dlk表示其中的第k列；为高分辨图像集中的第tk幅图像；代表提取图像中中心为(ik，jk)的固定大小为p×p的图像块并将其拉伸为列向量；SH为图像的降采样过程，为图像的上采样过程，这两个过程均使用三次插值方法实现，得到的字典Dh和Dl均为p2×N的矩阵，对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置；Nor表示对所得到的向量进行归一化：Nor(x^)=x^-μxσx2---(3)]]>其中，为要归一化的向量，μx和分别为的均值和方差；步骤二、对输入的低分辨率图像Y，首先将其利用图像三次插值方法对其进行上采样，然后将图像从左到右，从上到下以步长s提取p×p大小的图像块；得到低分辨率的图像块：其中，Ri，j代表提取图像中中心为(i，j)的固定大小为p×p的图像块并将其拉伸为列向量；(i，j)属于以步长s的从左到右、从上到下的坐标位置集合；为简化起见，将Pl(i，j)记作Pl，表示提取到的一个图像块；令φ为变形算子，对字典中的一个图像块对Bh和Bl，利用相同的变形场对其进行变形；假设u(x，y)和v(x，y)为变形场水平和竖直方向上的分量，为了简化，用u和v表示它们；φ的泰勒展开式为：φ(B)=B(x+u,y+v)≈B+diag(▿xB)u+diag(▿yB)v---(5)]]>其中，B为需要变形的图像块，Bh和Bl的变形均使用此公式；和分别为x方向和y方向上的梯度算子；表示以为对角线的对角矩阵，表示与u进行逐元素的相乘，同样；使用Bl和Pl进行变形场的计算，用Bh结合变形场u和v进行变形得到Pl的高分辨估计；对Bl和输入的图像块Pl，建立误差函数如下：E=||Bl+diag(▿xBl)u+diag(▿yBl)v-Nor(Pl)||2+η(||▿2u||2+||▿2v||2)---(6)]]>这里正则项对u和v的二阶导数进行了约束，使变形场的变化不致太剧烈；η为数据项和正则项的平衡因子，为拉普拉斯算子，取η＝0.1；Nor为公式(3)所述的归一化函数；令：Pd=Bl-Nor(Pl),M=uv,]]>G=[diag(▿xBl)diag(▿yBl)],Γ=η(▿2)200(▿2)2---(7)]]>这时E写作下面的形式：令得到公式(8)的解析解此时，E有最小值依据这些公式进行以下操作：1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E，选取字典中最适合变形的低分辨率图像块，即:2)对选定的字典中低分辨率图像块代入公式(7)和公式(9)，得到低分辨率的变形场3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形，得到与输入低分辨率图像块相合的高分辨率图像块估计：φ(Bh*)=Bh*+diag(▿xBh*)u+diag(▿yBh*)v---(11)]]>4)以上步骤均在归一化图像块上进行，因此得到的变形后的高分辨率的图像块的灰度范围也在[‑1，1]附近；故需要将其映射到Pl所在的灰度范围；设有α和β，使最终的高分辨图像块则构造代价函数使其最小化得：α和β的最小二乘解如下：其中，1表示元素全为1的列向量；在获得α和β后，得最终的高分辨图像块：Bd=αφ(Bh*)+β---(14)]]>步骤三、在得到高分辨率的图像块后，将其映射到高分辨率的图像网格上，与其他图像块重叠的部分按照重叠的图像块个数求取平均，假设中心位置为(i，j)的图像块的高分辨估计为Bdij，那么通过图像块进行局部约束生成的高分辨图像为：其中，表示Ri，j的逆过程，即通过图像块形成一幅图像，只有在中心位置为(i，j)，p×p大小的区域为此图像块，其余部分为零；显然为对角矩阵，对角线表示了每个像素所得到的图像块覆盖的个数；步骤四、通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型；对降质模型施加全局约束，在得到局部约束下的高分辨图像的基础上，最终的超分辨的结果为：X*=argminX||X-X0||s.t.SHX=Y---(16)]]>利用后向投影的方法得到求解以上公式：其中，X0为迭代初始值，即迭代次数l＝0时X的值；h为后向投影算子，利用三次插值实现图像的上采样与降采样；迭代收敛的结果即为最终的超分辨结果。