[发明专利]一种基于亚像素偏移模型的图像超分辨率重建方法

说明书

技术领域

本发明涉及一种基于亚像素偏移模型的图像超分辨率重建方法，属于计算机图像与视频处理领域。

背景技术

近年来，高分辨率显示设备，特别是高清液晶显示器已普及。而很多情况下，展现在高清显示器上的图像或视频却并不清晰。这主要是由于在图像或视频获取环节，所用设备大多考虑成本要素(主要有技术、资金等)，其成像传感器固有分辨率受限，只能获取低分辨率图像。如何不增加成像设备成本，又能最大限度发挥高分辨率显示设备的性能(高清地呈现低分辨率图像)，为相关应用(例如，医学成像诊断、卫星遥感分析、远程监控研判或移动互联娱乐等)提供准确的信息或丰富的消费体验，是科技人员所面临的挑战。为克服低成本成像传感器分辨率的固有局限性，超分辨率(SR)图像重建技术被应用并成为一个非常活跃的研究领域。它将同一场景的单或多帧低分辨率退化图像作为输入，通过亚像素精度的配准和融合，重建出一帧高分辨率图像，是一种有效的分辨率增强技术。

现有的超分辨率重建技术大致可分为以下几类:1).基于函数插值的方法：根据其基函数的不同，主要有零阶保持、双线性、双三次和离散傅里叶变换插值等。但以上方法均基于原始高分辨率图像信号是带限的假设，这并不能真实反映图像信号的天然特征。因此，此类方法难以重建出保真图像。2).基于实例的方法:首先从已有的实例图像样本库中抽取出一系列高频模式，用以与待重建图像进行匹配。如果实例图像足够多，那么众多高频模式就足以恢复低分辨率图像中丢失的高频信息。然而很多情况下，实例图像的数量并不能保证，这就影响了基于实例重建的效果。3).基于重构的方法:通过建立图象退化模型，沿插值-复原路径对低分辨率图像进行重建。该类方法使用严谨的数学模型，且抑制噪声时能保持边缘，因而广受关注，新算法层出不穷。尤其是近来出现的基于核回归的超分辨率重建算法，利用各向异性核回归对单帧低分辨率图像完成插值放大，而后再进行复原，使方向性纹理得到更好地重建。

上述传统的核回归超分辨率重建算法中，插值过后还要进行复原的原因在于：用于插值的核回归仅解决了退化图像的欠采样和噪声问题，其结果与原始图像之间还有一定差别(主要是原始高频细节无法恢复，导致结果模糊)。通过下面数学方式来解释更加直观：

假设高分辨率图像f为原始图像，实际的观测图像y是f的低分辨率退化版本。退化因素主要有模糊、欠采样和噪声，退化模型如下所示：

y＝D(h*f)+n＝Dg+n＝z_g+n

其中*表示卷积运算，h表示模糊核，D表示欠采样算子，n表示噪声，g表示f的模糊版本，z_g表示f的欠采样模糊版本。核回归就是利用y估计出回归函数z_g(x)，这里x＝[x₁,x₂]^T表示图像中的坐标。显然，z_g就是z_g(x)的离散形式，而g可通过对z_g(x)重新高频采样而获得。但是，要进一步得到f就必须对g进行解卷积运算，这实际也是复原(去模糊)过程。

事实上，解卷积大多都会存在不适定问题，复原结果很容易出现振铃、过冲等形式的伪影，难以消除。而且，模糊、欠采样和噪声问题在图像的退化过程中是相互影响的，上述传统的核回归超分辨率重建将这些问题割裂加以解决，难免造成顾此失彼(已解决问题有可能在其它步骤中再次引发)。从数学建模角度来讲，这种分步建模增加了推理步骤的复杂性，也无法做到整体建模的简洁直观。另外，上述核回归重建仅针对单帧低分辨率观测图像，并未给出多帧观测图像重建的解决方案。

发明内容

发明目的：为了解决核回归超分辨率重建中独立的复原环节解卷积效果不佳的问题，本发明提供一种基于亚像素偏移模型的核回归超分辨率重建方法，该方法将核回归超分辨率重建中的插值重采样和复原两个独立环节整合，避免了分步建模的复杂性和解卷积的不适定性。同时，所提供的方法对于观测图像的数量没有限定，既可用于单帧重建也可用于多帧重建，适用性增强。

技术方案：为实现上述目的，本发明的基于亚像素偏移模型的图像超分辨率重建方法，包括以下步骤：

步骤1，将待重建的低分辨率图像进行初始化，得到初始化后的图像y；

步骤2，建立亚像素偏移模型模拟图像的模糊过程，对所述亚像素偏移模型进行欠采样并加入噪声得到新的图像退化模型；

步骤3，利用基于梯度的偏移估计算法估计亚像素偏移量，并根据所述亚像素偏移量构造并计算偏移核函数；