[发明专利]生成低分辨率输入数据结构的超分辨率版本的方法和设备

说明书

技术领域

本发明涉及一种生成低分辨率输入数据结构的超分辨率版本的方法，并且涉及相应设备。

背景技术

超分辨率(SR)处理被认为可以提高常规采样多维信号的分辨率。特别感兴趣的是只有低分辨率信号可用的情况。显著差异是单个低分辨率信号可用还是多个相似低分辨率信号可用，因为在后一种情况下，可以通过组合几个可用信号的贡献利用更丰富的数据值。在图像处理文献中，这些方法一般被称为基于实例的超分辨率，或更精确地说，单幅图像超分辨率。尽管如下评论是一般性的，可以应用于不同维度的信号，但把重点放在2D图像超分辨率的情形。

图像超分辨率技术从M.Irani和S.Peleg的《Super Resolution from Image Sequences》开始，已经为人们所熟知许多年了。最常见的是，这些技术涉及给定一组像视频序列中的连续图像那样的有噪声、模糊、低分辨率的观察，使用逆转图像形成模型的重建过程估计高分辨率图像。因此，逆转图像之间的子像素运动、摄像机和后处理模糊和二次采样，以便融合可用数据和获取超分辨率图像。有几种全局最佳迭代技术可用，它们在假设的图像先验模型方面基本是不同的。这为在其他情况下是不适定的问题提供了唯一解。

一般说来，这些技术的限制因素在于估计图像去模糊的点扩散函数(PSF)(往往假设为高斯型的)和配准(确定图像之间的子像素运动)。一般而言，文献中的SR技术，例如，Lucas-Kanade或Horn-Schunck指的是实现配准的经典光流(OF)估计技术。这些技术在准合成实例中表现得不错，但实际上，当出现更一般运动时，OF估计中的已知解决方案不能足够精确地鲁棒配准视频序列中的连续的帧。

Z.Lin和H.-Y.Shun在《Fundamental Limits of Reconstruction-Based Superresolution Algorithms under Local Translation》中证明了，在大范围的自然条件下，这种类型的基于重建的SR算法存在分辨率的最大增加为大约1.6x的基本限制。但是，该文章证明，在大多数可获得出版物通常研究的合成情景中，存在允许分辨率增加高达5.7x的宽松得多的限制。这是由于当子像素移动一般精确到像素大小的几分之一时，在配准方面的有利条件。

一种替代类型的SR算法试图通过利用较高分辨率的先知实例充分地丰富输入视觉数据(低分辨率图像)来提高图像的分辨率。这些技术通常被称为基于实例的超分辨率(EBSR)。W.T.Freeman、T.R.Jones和E.C.Pasztor在《Example-based super-resolution》中从足够通用的图像片(patch)数据库中获取适当高分辨率实例，对其中的高频内容求平均，并方便地与输入图像的低频内容融合。但是，该算法的性能在目标场景偏离包括在实例数据库中的案例(case)时而变差(当没有已知片实际上与输入图像的片相似时)。实际上，放大数据库的规模会导致在搜索最佳匹配训练片时过高的计算成本。因此，这种技术不是一般常用的，而是重点用于某个类别的超分辨率图像。

为了处理这个问题，以及对要放大的内容适应性地表现，其他EBSR算法从单幅输入图像内提取高分辨率实例，可以在小的缩小因子下获得其不同分辨率图像的金字塔表示。然后，对于输入图像中的每个片(例如，5×5个像素)，在不同分辨率(金字塔的各级)的所有或部分图像中搜索匹配的片，以执行类似于基于重建的超分辨率的每个片的数据融合。这种技术的最佳代表是D.Glasner、S.Bagon和M.Irani的《Super-Resolution from a Single Image》，以及作为视频超分辨率的追随者的O.Shahar、A.Faktor和M.Irani的《Space-Time Super-Resolution from a Single Video》。以由于在3D空间-时间中搜索跨越几种空间和时间尺度的视频帧所导致的计算复杂度增加为代价，作者使图像分辨率和帧速率同时提高，包括除去时域混叠。在当前的计算能力下，这使得该方法不可用于实时操作。在WO2010/122502A1中也使用了这种方法。

其他已知的方法也代价高昂，并且通常不能表明可用于实时方法，或往往因施加过度的对比而产生一些看起来不真实的边缘，或往往在纹理区域中造成过度平滑，这在一般情况下会产生看起来不自然的图像。