[发明专利]基于高质量边缘信息引导的深度图像超分辨重建的方法

说明书

本发明涉及一种基于高质量边缘信息引导的深度图像超分辨重建的方法。包括以下步骤：对一组高分辨率示例图像进行预处理得到高分辨和低分辨率图像块对；对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；输入低分辨率测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。该方法不仅可以避免在重建过程中造成边缘模糊和锯齿的现象，保持图像边缘的锐利性，而且可以有效地抑制噪声。

技术领域

本发明属于计算机视觉和图像处理领域，尤其涉及一种深度图像超分辨重建的方法。

背景技术

随着计算机视觉技术的快速发展，仅依靠彩色图像中的信息已不能满足计算机视觉方面的应用需求，而深度图像正好可以弥补这一缺陷。深度图像描述了场景中物体距离相关的信息。一些主动式传感器，如Kinect和PMD(Photonic Mixer Device)相机等可以简单地获取场景的深度信息，但是由于传感器硬件系统的限制和外部环境的影响，导致直接获取的深度图像的分辨率较低，影响了其在实际应用中的要求。因此，提高深度图像的分辨率有着重要的意义。

深度图像超分辨重建技术可以有效地提高图像的分辨率。当前，国内外许多学者已经对深度图超分辨重建技术进行了研究。根据重建过程中参考信息来源的不同，深度图像超分辨重建技术主要可以分为四类：插值法、基于同场景图像序列融合的方法、基于高分辨率彩色图像引导的方法、基于示例图像学习的方法。

插值法是通过相邻位置的像素值推断待插值位置的像素，该方法简单、高效，但是容易引起图像边缘模糊和锯齿的现象；基于同场景图像序列融合的方法是通过相关低分辨率深度图像中的信息来弥补未知位置像素信息，该方法对相邻帧间相机移动的要求比较严格，要求镜头与场景中物体仅存在镜头所在平面平行方向的细微地移动，在实际应用中难以满足；基于高分辨率彩色图像引导的方法是通过深度图像和彩色图像内容分布的一致性来引导深度图像重建，该方法需要有与深度图像高度配准的高分辨彩色图像的协助；基于示例图像学习的方法需要从示例图像集中学习一种低分辨率图像到高分辨率图像间的特征关系，利用这种特征关系指导图像重建，该方法对示例图像训练集的依赖性比较强，使用不同的训练数据集进行重建的效果可能也不同。

发明内容

本发明为解决上述现有深度图像超分辨方法存在的问题，所采用的技术方案为提供一种基于高质量边缘信息引导的深度图像超分辨重建的方法，该方法包括以下步骤：

S1：输入一组高分辨率示例图像，对其进行预处理得到高分辨和低分辨率图像块对；

S2：对低分辨率和高分辨率图像块对进行联合训练，构造低分辨率和高分辨率图像块的字典对；

S3：输入低分辨率的测试图像，插值放大到目标尺寸，使用冲击滤波对插值后的图像进行处理，并提取滤波后的图像的边缘；

S4：使用训练的字典对对边缘图像进行稀疏表示，构造出高质量边缘；

S5：在高质量边缘信息的引导下，使用改进的联合双边滤波器对低分辨率测试图像进行插值重建，从而得到期望的高分辨深度图像。

与现有的技术相比，本发明具有以下有益技术效果：

1)本发明不需要为获得相邻序列帧图像而遵守严格的假设；

2)本发明不需要为获取与深度图像高配准的高分辨率彩色图像而进行复杂过程；

3)本发明也没有对外部训练数据集强烈的依赖性；

4)本发明不仅可以避免重建图像边缘模糊或锯齿的现象，保持边缘的锐利性，而且可一定程度的抑制噪声。

附图说明