[发明专利]用于获得视觉体验优化的超分辨率图像的方法和系统

说明书

技术领域

本发明主要涉及图像和视频处理，具体而言，涉及用于从图像获得视觉体验优化的超分辨率图像的方法和系统。

背景技术

超分辨率（SR）方法旨在获取高于低分辨率（LR）图像的奈奎斯特频率的新的高分辨率（HR）信息，在高清电视HDTV、超高清电视UHDTV（4KTV和8KTV）、视频通信、视频监控、医学成像等领域具有广泛的应用。

超分辨率技术可以大致分为为传统的多帧SR和单帧SR方法。多帧SR方法利用视频序列或多个图像帧间的亚像素错位，获取高频信息。大部分方法涉及用来获取这些亚像素位移的某种运动估计方法，以及多种融合与规整化方法，例如IBP（反投影迭代）以及MAP（最大后验概率）等方法，保证重构的HR图像与输入LR图像相一致。例如，[现有技术2]、[现有技术7]、[现有技术8]和[现有技术9]利用个多种线索，包括样例匹配的相似度、运动矢量的连续性和运动矢量的长度等来计算权值，用于融合与规整化，以及用于一些SR方法中的“运动补偿”。

由于多帧SR方法需要对多个图像或视频帧进行捕获、缓存并操纵，其内存消耗以及计算复杂度都相当高。另外，尽管此类SR方法已被证明在放大因子高达2倍时仍能提供稳定的结果，但这类方法对噪声敏感，且仅限于帧间存在亚像素错位（misregistration）的情况。为了克服上述缺点，研究者提出了单帧SR方法。这类方法也被称为做基于样例或基于学习的SR，或者为“幻像”。

典型的基于样例的SR方法利用单个低分辨率（LR）图像获得高分辨率（HR）信息，大致可以分为两个主要模块，即重构与保持一致性。在第一个模块中，输入LR图像首先被分为多个小的重叠LR样例。对于每个LR样例，在预先建立的数据库或LR图像和/或下采样/上采样后的LR图像中搜索其对应的HR样例。随后，一般使用融合与加权技术，利用得到的HR样例重构出放大的图像[现有技术1]。另外，也有方法通过选择这些样例而不是搜索这些样例来降低计算复杂度[现有技术3]。在第二个模块中，在某种假设（例如，数字图像生成模型）下，使用后处理（例如，反投影迭代（IBP）)来保持重构的HR图像与输入的LR图像之间的一致性。还有一些其它的单帧SR方法，例如，[现有技术6]中描述的基于FFT的迭代去模糊的SR方法。

一些方法组合了来自“经典”SR（即多帧SR）和基于样例的SR（即单帧SR）的技术。例如，[现有技术1]从下采样后的输入LR图像以及LR图像本身搜索HR样例。如果将其在当前LR图像中的搜索方法扩展到视频序列的多个帧中，就可以变成一种混合SR方法。

超分辨率是存在多个解的不适定问题。大部分的现有SR方法会采用优化方法，例如，MAP（最大后验概率）、ML（极大似然）和IBP（反投影迭代）来对重构图像进行规整化以使其与输入LR图像相一致，同时在锐度与失真之间保持平衡。这些方法全都基于某种客观度量，例如，均方误差（MSE）。然而，人类视觉系统（HVS）对不同局部区域中的图像细节和失真具有不同的偏好与敏感度。例如，相比于规整的结构区域，随机纹理区域中的噪声与失真，对于HVS来说更不易察觉。从另一个角度来看，这相当于相比于规整的结构区域，HVS更偏好随机的纹理区域中的细节信息。因此，由于没有考虑HVS的偏好，现有基于客观度量的SR方法，无法创建观看者视觉体验意义上的最佳高分辨率图像。

HVS模型用来预测HVS的感知特性，已被深入研究了数十年。HVS模型，例如视觉注意、中央凹、色彩感知、立体感和最小可觉失真（just noticeable distortion，JND）等均已得到视觉生理和心理学实验的强有力支持。在这些模型中，JND模型被广泛用于图像处理。JND模型输出一个阈值，该阈值代表人类视觉系统在感知图像的微小变化方面的局限性。如果图像中的噪声、失真或细节变化小于JND阈值，这些变化就无法被人类视觉系统感知到。在实践中，这些图像失真在图像处理中可以被忽略而不影响图像的主观质量。

JND模型可以分为基于空域和基于变换域两类，通常包括HVS亮度适应、对比度掩蔽和色彩掩蔽特性的数学描述。在最新的研究中，不同纹理和时域变化的影响也被考虑在内，例如，[现有技术12]。