[发明专利]基于多低分辨率图像的重构高分辨率图像方法及其装置

说明书

技术领域

本发明有关于图像处理，并且特别有关于利用多帧低分辨率图像完成对高分辨率图像的重构(reconstruction)。

背景技术

在数字图像处理与显示的领域，经常需要基于低分辨率图像资源显示具有高分辨率的图像。例如，在网络协议电视(Internet Protocol Television,IPTV)应用中，可以发送低于电视机固有分辨率的视频流资源。为了在电视机上显示上述低分辨率视频流内容，视频源必须转换为电视机支持的固有分辨率。数码相机、卫星遥感影像以及医学影像皆存在相似的重构高分辨率图像的需求。

文献中已经记载了各种各样的高分辨率图像重构技术。其中一种类型是基于单个低分辨率帧。双线性插值(bilinear interpolation)是一种对于高分辨率图像重构的传统流行方法。双线性插值是在水平与垂直两个方向皆执行线性插值。双线性插值的相关计算相对简单并且插值后图像的视觉效果也经常是可以接受的。然而，由于在垂直于物体边缘的方向进行插值，双线性插值过程经常会引起物体边缘周围的平滑度问题以及其他人为缺陷。相应地，基于单个帧的各种改善插值技术也已经出现在文献中以改善物体边缘周围的锐度。例如，Li等人揭露的边缘导向插值(“New Edge-Directed Interpolation”,IEEE TRANSACTIONS ON IMAGE PROCESSING,pp.1521-1527,VOL.10,OCTOBER 2001)并且该方法在上述揭露中简称为NEDI。上述NEDI方法利用基于协方差适应的边缘导向特性来代替明确估计边缘取向。NEDI方法已经显示比双线性插值方法具有改善的图像质量。

对于更先进的高分辨率图像重构，可运用信号处理技术，具体地利用多帧低分辨率图像产生高分辨率图像。在本领域基于多帧的高分辨率图像重构也称为超分辨率图像重构(super-resolution image reconstruction)。在上述揭露中，超分辨率图像重构与高分辨率图像重构的名称可相互替换使用。多帧图像可包含场景中的运动物体并且运动估计必须用于匹配不同帧中的相应像素。本领域中运动信息估计称为配准(registration)。图1是典型的基于多帧的高分辨率图像重构方法示意图。如图1所示，涉及三个处理步骤，包含图像配准110、图像插值120以及图像修复(restoration)130。图像配准110的阶段，接收多帧低分辨率图像y_i,i=1，...,P。图像配准110的输出是运动补偿低分辨率图像。图像插值120的阶段利用上述运动补偿低分辨率图像在高分辨率网格(grid)上重构高分辨率图像。本领域存在多种插值技术。可利用图像修复130的阶段减少在插值阶段引入的噪声及/或人为缺陷。Park等人描述了超分辨率重构的概况(Super-Resolution Image Reconstruction:A Technical Overview,IEEE SIGNAL PROCESSING MAGAZINE,pp.21-36,May 2003)。

最近，Takeda等人已经介绍了用于高分辨率图像重构的核回归(kernel regression)方法(“Kernel Regression for Image Processing and Reconstruction”,IEEE TRANSACTIONS ON IMAGE PROCESSING,pp.349-366,VOL.16,NO.2,FEBRUARY 2007)。对于二维核回归，可利用二维回归模型描述位于位置x_i的观测数据y_i如下：

y_i＝f(x_i)+ε_i,i=1,…,P,x_i=(x_1i,x_2i),    (1)

其中(x_1i,x_2i)是二维空间坐标，f(·)是确定的回归函数，并且ε_i是独立同分布的零均值噪声。P代表在兴趣区域中用来重构高分辨率样本的低分辨率数据样本的数量。f(x_i)的具体形式可为不确定的。然而，可假设回归函数在位置x周围是局部平滑的，其中高分辨率样本将在其完成重构。相应地，位置x_i上的回归函数可利用泰勒展开表示如下：