[发明专利]一种基于残差的图像超分辨率重建方法

摘要

本发明涉及一种基于残差的图像超分辨率重建方法。本发明的具体步骤是：首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差；其次，以低分辨率图像样本特征和对应图像残差建立样本对，以低分辨率样本为基准采用K-均值对样本对进行分类，并对每一类样本对采用K-SVD方法进行训练获得低分辨率样本与图像残差的字典对；最后，根据测试样本与类中心的欧氏距离选择字典对，将与测试样本具有相近欧氏距离的各类别所重建的图像残差求加权和作为重建的最终图像残差，并结合低分辨率图像的插值结果获得高分辨率图像。本发明只需重构图像残差，结合插值图像即可重建高分辨率图像,提高了高分辨率图像边缘细节处的重建结果。

主权项

1. 一种基于残差的图像超分辨率重建方法，其特征在于该方法包括以下步骤：步骤(1)计算残差，具体是：将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；步骤(2)获得低分辨率训练样本图像与高分辨率图像残差的字典对，具体是：计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像分块，以梯度值作为低分辨率图像子块的特征；将图像残差分块，以子块残差作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典和高分辨率字典构成；训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x_ri}和{y_i}，其中x_ri表示图像残差特征子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数；对低分辨率特征子块样本集合{y_i}进行分类，先计算每个y_i的方差值，按给定的方差阈值△进行分类，阈值△可通过对集合{y_i}进行方差统计获得；对于方差小于或等于阈值△的低分辨率图像特征子块样本组成一个集合{y_i0}，由其对应的高分辨率特征子块样本获得集合{x_ri0}，将集合{x_ri0}和集合{y_i0}构成高、低分辨率子块样本对，采用K-SVD学习算法得到高分辨率字典D_h0、低分辨率字典D_l0；高分辨率字典D_h0和低分辨率字典D_l0构成字典对；对于方差大于阈值△的集合{y_i}、{x_ri}，此时的样本数量仍相当大，采用K-均值聚类算法对方差大于阈值的集合{y_i}进行分类；通过对{y_i}聚类分成K类样本，各类对应的{x_ri}也同样分成了K类样本，则得到K类高、低分辨率子块样本对{x_rik}、{y_ik}以及{y_ik}的聚类中心{C_k}，k=1,2,…,K；分别对各类子块样本对采用K-SVD训练得到K对高、低分辨率字典D_hk和D_lk；步骤(3)超分辨率重建高分辨率图像，具体是：对样本对进行分类学习后，可得K+1对高、低分辨率字典；对低分辨率测试图像y_t重建时，先对y_t分块，每个子块进行超分辨率重建时必须选用合适的字典进行稀疏分解与高分辨率图像重建，采用分解低分辨率测试图像子块y_ti，其中D_ls是选择的最适合的低分辨率字典，是稀疏表示矢量，是给定的误差值；对应的高分辨率残差子块x_tri重建过程采用，其中D_hs是与D_ls相对应的高分辨率字典；由子块y_ti与各聚类中心中具有最小欧氏距离的类别所对应的字典D_ls作为最适合的低分辨率字典；重建获得的是残差图像，其中M是低分辨率测试图像的子块数，R_i是子块的提取方式，T代表转置；残差图像与低分辨率插值放大后的结果相加可获得超分辨率图像；对于输入的待重建测试图像子块y_ti，先计算图像子块的方差并根据方差选择字典，对于方差小于阈值△的子块选用D_h0、D_l0进行重建，否则根据子块与K-均值聚类中心点的距离按式(1)进行字典选择；(1)由式(1)确定与测试图像子块欧氏距离最小的聚类中心C_s，通过聚类中心C_s找到相应的高、低分辨率字典，进行超分辨率重建；为了使字典能更好的匹配图像子块，防止“临界子块”影响重建结果，对由各“临界子块”重建的残差进行加权求和；这里的“临界子块”是指一个子块与两个或多个聚类中心的距离都很相近，“临界子块”判断规则为：计算子块与每个聚类中心的欧氏距离，记距离为d_j,下标j根据欧氏距离的大小排序，欧氏距离最小的为1，下标随欧氏距离增加依次递增，根据d₁与d_j的比值确定子块是否临近，即：(2)式(2)中为临界子块判断阈值；为了将重建子块更好的重构，采用多个字典进行重建；对测试子块y_ti与多个聚类中心相近时，分别采用多个字典进行分解重构，最后根据y_ti与多个聚类中心的相近程度分配权值，对重建的残差进行加权求和，得到最终的高分辨率图像的残差子块；权重计算如式(3)-(5)所示；(3)(4)(5)式(3)-(5)中p是与子块y_ti最接近的类别数，j是p类中按距离从小到大排序后的第j类，C_j为与d_j相对应的聚类中心，ω_j为归一化的权值，为分别根据C_j所对应的字典重建得到的高分辨率残差，高分辨率残差子块x_tri为式(5)所示的各重建高分辨率残差结果的加权和。