[发明专利]一种基于稀疏表示和多残差的图像超分辨率重建方法

说明书

技术领域

本发明属于图像处理技术领域，涉及一种对图像进行超分辨率重建的方法，具体是一种基于稀疏表示和多残差的图像超分辨率重建方法。 

背景技术

图像超分辨率重建在医学成像、卫星成像等各个领域有着广阔的应用，它是指由输入的一幅或多幅低分辨率图像重构得到一幅高分辨率图像的方法，与采用高性能硬件获取高分辨率图像的方法相比，具有更低的成本。 

图像超分辨率重建一般可分为基于插值的、基于多幅低分辨率图像的、基于学习的三类超分辨率重建方法。基于插值的超分辨率方法重建的图像易产生过平滑，因此这类方法产生的高分辨率图像质量很有限。基于多幅低分辨率的超分辨率重建方法通常需要对低分辨率图像进行亚像素精度的配准以获得各图像之间的位置变化，然而这种方法在提高图像质量的情况下对分辨率放大倍数的增加是非常有限的。而基于学习的超分辨率重建方法突破了上述两种方法的局限性，这种方法认为低分辨率图像中缺失的高频细节可以通过对指定数据集的训练来预测和推断。 

发明内容

本发明的目的是提供一种有效的图像超分辨率重建方法，以改善重建质量。 

为解决上述技术问题，本发明提供的技术方案如下： 

首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差，并将残差分成高频部分与低频部分；其次，以低分辨率图像样本特征和对应图像残差高频部分、图像残差低频部分建立样本对，以低分辨率样本为基准根据纹理元结构对样本对进行分类，并将每一类样本对采用KSVD方法进行训练获得低分辨率样本与图像残差高频部分、低频部分的字典对；最后，根据测试样本的纹理元结构选择字典对，将重建的图像残差高频部分、低频部分结合低分辨率图像的插值结果获得高分辨率图像。

下面详细给出该发明技术方案中的各个细节说明： 

步骤(1)计算残差，并获得残差的高频部分与低频部分，具体是：

将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；然后对差值Xr进一步分析，对差值Xr按其频率的相对高低再分成两部分，即通过高通滤波得到Xr的高频部分Xr₁，以及余下的低频部分Xr₂=Xr-Xr₁。

步骤(2)获得低分辨率训练样本图像、高分辨率图像残差高频部分与低频部分的字典对，具体是： 

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像按3×3分块，以梯度值作为低分辨率图像子块的特征；将图像残差按9×9分块，对子块残差的高频部分、低频部分作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典、高分辨率残差的高频字典和高分辨率残差的低频字典构成。

训练前先对低分辨率特征子块样本集合{y_i}进行分类。每个y_i是一个3x3大小的纹理元结构，设Z为纹理元的中心像素，其八邻域内的像素分别为Z₁-Z₈，当Zs≥Z，则给Zs标记ps＝1，否则标记ps＝0，s=1,…,8。将ps按s序号大小排成一行，根据ps的取值可得到256种可能的纹理元结构。以输入的低分辨率图像块样本为基准，对样本空间进行分类。分类的规则是：对于给定的256个纹理元 ，0≤p≤255，根据式(1)按照纹理元结构的旋转和互补规则将纹理元进行分组。式（1）中rot90、rot180、rot270分别表示纹理元结构旋转90^o、180^o和270^o，下标2表示二进制表示。经过式（1）方法，可合并得到K组纹理元结构。相应地，构成各类别的低分辨率样本所对应的高分辨率的残差高频样本也对应分到同一类高频残差中，对应的高分辨率的残差低频样本也对应分到同一类低频残差中，分类后得到K类纹理元结构。 

               (1) 

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x_r1i}、{x_r2i}和{y_i}，其中x_r1i表示图像残差的高频子块，x_r2i表示图像残差的低频子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数。