[发明专利]一种基于邻域嵌套的图像超分辨率重建方法

说明书

技术领域

本发明涉及一种图像超分辨率重建方法，尤其涉及一种基于邻域嵌套的图像超分辨率重建方法，属于数字图像增强技术领域。

背景技术

图像空间分辨率是图像质量评价关键性的一项指标，也是图像应用中举足轻重的一个参数，它表示景物信息的详细程度。然而，目前许多成像系统，如红外成像仪和CCD照相机等，在采集图像过程中，受其固有传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠采样效应又会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。如果采用增加传感器阵列采样密度的办法来提高图像分辨率和消除变形效应，可能会付出昂贵的代价或者面临很难克服的技术困难。因此从软件方面着手来提高图像分辨率有着极大的现实意义和应用价值，解决这一问题的一个有效办法就是采用超分辨率(Super Resolution，SR)重建技术，即通过一序列低分辨率(Low Resolution，LR)变形图像来估计高分辨率(High Resolution，HR)的非变形图像。近年来，超分辨率重建技术已成为图像处理领域的一个研究热点，广泛应用于遥感、医学成像和军事等多个领域，并且取得了较为丰硕的成果。

在低分辨率图像序列的帧数较少以及分辨率提高倍数较大的情形下，低分辨率图像序列所能提供的互补性样本信息相对有限，不足以使超分辨率重建算法恢复更多的高频信息。这种情况下关于图像本身的先验知识就显得非常重要。除了传统MRF统计先验模型和正则空间几何图像模型能够提供图像的先验信息，另一种重要方法就是通过神经网络技术进行学习训练得到。基于学习的超分辨(example-based SR)重建研究的主要思想是，通过学习已有的高分辨率图像序列获取先验信息进而提高分辨率。

正是由于基于学习的超分辨率重建方法不需要太多的图像先验知识，因而得到进一步发展。文献(IEEE Transaction on Image Processing，17(6)：873-886)提出一个鲁棒的全局人脸空间模型以得到人脸超分辨率图像细节，其缺点是该种方法只能应用于某些特定的图像，比如人脸图像等。文献(IEEE Transaction on Image Processing，16(6)：1596-1610)运用支持向量回归学习的方法研究低分辨率图像与高分辨率图像的DCT(离散余弦变换)系数的关系，进而进行超分辨率重建，这个方法具有一定的普遍性，但是也存在一个问题，即需事先假设如高斯分布、DCT系数等较强的先验知识。文献(Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，Minnesota，USA，2007，1-8)引入软边缘平滑先验知识，并结合阿尔法抠图技术进行彩色图像的超分辨率。其缺点是：如果先验参数选择不准确，将导致过度平滑甚至导致重建图像模糊。

邻域嵌套超分辨率重建方法是基于学习的超分辨率方法中重要的一个分支，近年来取得了丰硕的研究成果。邻域嵌套算法的主要原理为：将训练的低分辨图像和重建低分率图像分别对应分块，并得出重建低分辨率图像分块与多个训练低分辨率图像分块的对应关系，并将对应关系应用于训练的高分辨率图像分块与重建的高分辨图像分块之中，借此得出重建的高分辨图像。文献(Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington，DC，USA，2004，275-282)注意到低分辨率和高分辨率图像相对应的分块具有相似的局部几何特征，对低分辨率和高分辨率图像进行相似性对应分块，提出了基于邻域嵌套的超分辨率重建算法(Super-Resolution through Neighbor Embedding，SRNE)，在该方法中，高分辨率测试图像分块用一组经过优化加权的高分辨率训练图像分块来表示。实验表明该方法在保持图像形状，减少人工痕迹方面优于Freeman算法，但是，这种方法没有深入研究图像属性，比如：图像边缘，以及邻域尺寸等，因此其性能和训练图像的选择密切相关。文献(Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，Minneapolis，USA，2007，201-205)提出一种基于邻域嵌套的图像联想方法，这也是由SRNE演化而来，该方法将最大滤波响应作为特征进行提取，但是由于其中的高频分量条件独立于中，低频分量，因此该算法在保持邻域信息方面仍然非常欠缺。