[发明专利]一种基于彩色图引导的深度图超分辨率重建网络构建方法

说明书

本发明公开了一种基于彩色图引导的深度图超分辨率重建网络构建方法。目前越来越多的场景应用需要高质量高分辨率的深度图片，传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法，但大部分的超分辨卷积神经网络框架都都只是堆叠单一尺寸的卷积核，无法很好的提取出同场景下高分辨率彩色图像中有利的引导信息。本发明的多尺度卷积核彩图引导网络不仅可以充分发掘了高分辨率彩色图像信息，提取了有用的特征图像，而且可以丰富深度图像特征的多样性，融合这些信息对深度图像进行超分辨率重建。并且利用递归学习和残差学习的思想，减轻了卷积神经网络的负担，控制了网络的参数，提升了深度图像的重建效果。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于彩色图引导的深度图超分辨率重建网络构建方法。

背景技术

随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。

近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习目标物体的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。

目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，获取高分辨率高质量的彩色图像的方法已经比较成熟，但相较于深度图像，彩色图像纹理区域较多，利用普通的卷积神经网进行彩色图像引导深度图像重建可能会带来负面作用，因此需要构建具有强大的特征提取能力的网络。

发明内容

本发明的目的就是克服现有技术的不足，提出了一种基于彩色图引导的深度图超分辨率重建网络构建方法。本方法不仅可以很好地提取了同场景下高分辨率高质量的彩色图像可以提供的深度图像重建有利信息，而且可以丰富深度特征图像的多样性。最终融合这些有利信息，重建出高分辨率高质量的深度图像。具体步骤如下：

步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像

使用RGB-D相机得到一张低分辨率深度图像I_depth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像I_color其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽。对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像I_color转为YCbCr色彩空间，并取Y通道图像得到

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块Multi-scale Recursive Residual Block组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特征提取部分。

(a)和首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图和

(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为X_m-1，每个多尺度残差块的计算步骤如下：

①