[发明专利]基于彩色约束项与字典学习的深度图像上采样方法及系统

说明书

本发明提供一种基于彩色约束项与字典学习的深度图像上采样方法及系统，通过获取由高分辨率深度图像和低分辨率深度图像构成的数据集；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于映射关系进行低分辨率深度图像上采样，可以获取边缘清晰、细节完整的高分辨率深度图像。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于彩色约束项与字典学习的深度图像上采样方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

深度图像在许多计算机视觉任务中起着非常重要的作用，并且广泛的应用于现实生活，例如3D重建、自动驾驶、虚拟现实等。但是由时间飞行相机等设备捕获的深度图像通常具有分辨率低、噪声大的特点，限制了其进一步的应用。近年来，深度图像上采样引起了学者的广泛关注并且提出了许多深度图像上采样的方法，但是深度图像上采样仍然是一个具有挑战性的任务。

首先，深度图像的边界很难重建，尤其是在上采样因子较大的情况下。其次，由于预处理中下采样操作会使图像场景中的细节部分被严重破坏，使得上采样任务变得更加困难。因此，如何获取边缘清晰、细节完整的高分辨率深度图像成为亟需解决的技术问题。

发明内容

为了解决上述问题，本发明的第一个方面提供一种基于彩色约束项与字典学习的深度图像上采样方法，以获得边缘清晰、细节完整的高分辨率深度图像。

为了实现上述目的，本发明主要包括以下几个方面：

第一方面，本发明实施例提供一种基于彩色约束项与字典学习的深度图像上采样方法，所述深度图像上采样方法包括：

字典学习阶段：获取由高分辨率深度图像和低分辨率深度图像构成的数据集，其中，高分辨率深度图像和低分辨率深度图像一一对应；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；

高分辨率深度图像重构阶段：以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于所述映射关系进行低分辨率深度图像上采样。

在一种可能的实施方式中，所述获取由高分辨率深度图像和低分辨率深度图像构成的数据集，包括：

对获取到的高分辨率深度图像进行高斯模糊操作，得到与所述高分辨率深度图像相对应的低分辨率深度图像；

基于所述高分辨率深度图像和所述低分辨率深度图像，构建数据集。

在一种可能的实施方式中，所述图像块包括高分辨率图像块和低分辨率图像块，在所述获取每个图像块对应的特征空间之前，所述深度图像上采样方法还包括：

移除高分辨率图像块中的低频信息，并且提取出低分辨率图像块中的高频信息；

利用最优主成分分析的方法对图像块进行降维操作。

在一种可能的实施方式中，所述特征子空间包括高分辨率特征子空间和低分辨率特征子空间；所述构建字典学习算法模型，包括：

建立高分辨率特征子空间和低分辨率特征子空间各特征子集之间的线性映射函数。

在一种可能的实施方式中，所述映射关系的确定方式如下：

获取低分辨率图像，将所述低分辨率图像进行分块，得到低分辨率图像块；