[发明专利]一种基于稀疏表示和多残差的图像超分辨率重建方法

摘要

本发明涉及一种基于稀疏表示和多残差的图像超分辨率重建方法。本发明的具体步骤是：首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差，并计算残差的高频部分与低频部分；其次，以低分辨率图像样本特征和对应图像残差高频部分、低频部分建立样本对，以低分辨率样本为基准采用纹理元结构对样本进行分类，并对每一类样本对采用KSVD方法进行训练获得低分辨率样本与图像残差高频部分、低频部分的字典对；最后，根据测试样本的纹理元结构类型选择字典对，将最终图像残差结合低分辨率图像的插值结果获得高分辨率图像。本发明只需重构图像残差，结合插值图像即可重建高分辨率图像，提高了高分辨率图像的重建结果。

主权项

1. 一种基于稀疏表示和多残差的图像超分辨率重建方法，其特征在于该方法包括以下步骤：步骤(1)计算残差，并获得残差的高频部分与低频部分，具体是：将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；然后对差值Xr进一步分析，对差值Xr按其频率的相对高低再分成两部分，即通过高通滤波得到Xr的高频部分Xr₁，以及余下的低频部分Xr₂=Xr-Xr₁；步骤(2)获得低分辨率训练样本图像、高分辨率图像残差高频部分与低频部分的字典对，具体是：计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像按3×3分块，以梯度值作为低分辨率图像子块的特征；将图像残差按9×9分块，对子块残差的高频部分、低频部分作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典、高分辨率残差的高频字典和高分辨率残差的低频字典构成；训练前先对低分辨率特征子块样本集合{y_i}进行分类；每个y_i是一个3x3大小的纹理元结构，设Z为纹理元的中心像素，其八邻域内的像素分别为Z₁-Z₈，当Zs≥Z，则给Zs标记ps＝1，否则标记ps＝0，s=1,…,8；将ps按s序号大小排成一行，根据ps的取值可得到256种可能的纹理元结构；以输入的低分辨率图像块样本为基准，对样本空间进行分类；分类的规则是：对于给定的256个纹理元，0≤p≤255，根据式(1)按照纹理元结构的旋转和互补规则将纹理元进行分组；式（1）中rot90、rot180、rot270分别表示纹理元结构旋转90^o、180^o和270^o，下标2表示二进制表示；经过式（1）方法，可合并得到K组纹理元结构；相应地，构成各类别的低分辨率样本所对应的高分辨率的残差高频样本也对应分到同一类高频残差中，对应的高分辨率的残差低频样本也对应分到同一类低频残差中，分类后得到K类纹理元结构；(1)训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x_r1i}、{x_r2i}和{y_i}，其中x_r1i表示图像残差的高频子块，x_r2i表示图像残差的低频子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数；对K类样本对集合采用KSVD算法训练学习，为了保持字典间的同构性，第j类样本的学习表达式如式(2)所示，j=1，2，…，K；(2)式(2)中为低分辨率图像的第j类样本中的第k个训练样本，N_j是第j类样本中的样本数目；、分别为第j类样本高分辨率图像第k个训练样本残差的高、低频部分，、为相对应的误差平衡参数，为最大稀疏度约束,是样本的稀疏表示系数列向量，由第j类样本中所有的排列构成该类的稀疏表示系数矩阵，是第j类样本的低分辨率字典，分别是高分辨率样本残差的高、低频部分的字典；为了使式（2）适用于KSVD方法求解，将式子（2）改写成：(3)其中，；在字典训练时，误差平衡参数可选输入样本的均值之比，令，，分别为对应样本向量的均值，则通过式（4）获得误差平衡参数和；(4)对K类样本通过KSVD算法得到用于超分辨率重建的K个字典对，第j类样本的字典对由3个字典构成，低分辨率字典、高分辨率的高频字典、低频字典，j＝1，2，…，K；步骤(3)超分辨率重建高分辨率图像，具体是：对样本对进行分类学习后，可得K对高、低分辨率字典，j＝1，2，…，K；对低分辨率测试图像y_C重建时，先对y_C分块，每个子块大小为3×3，作为纹理元结构在K类纹理元结构中寻找相应类别，由类别从K对字典中选用相应类别的字典进行稀疏分解与高分辨率图像重建，采用，是误差阈值，分解低分辨率测试图像子块y_Ci，其中D_lt是选择的低分辨率字典，是样本的稀疏表示系数列向量；对应的高分辨率残差子块x_rCi重建过程采用式（5）获得；(5)其中是与D_lt相对应的高分辨率残差字典；重建获得的是残差图像，其中M是低分辨率测试图像的子块数，R_i是子块的提取方式，T代表转置；残差图像X_rC与低分辨率插值放大后的结果X_bC相加可获得超分辨率图像X_C。