[发明专利]一种基于彩色图引导的深度图超分辨率重建网络构建方法

权利要求书

1.一种基于彩色图引导的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：

步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像

使用RGB-D相机得到一张低分辨率深度图像I_depth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像I_color其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像I_depth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像I_color转为YCbCr色彩空间，并取Y通道图像得到

步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块Multi-scale Recursive Residual Block组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特征提取部分；

(a)和首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图和

(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，输入特征图为X_m-1，每个多尺度残差块的计算步骤如下：

①

首先将特征图X_m-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图R1；其中σ(·)代表激活层，为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小；

②

同时特征图X_m-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图P1，其中为卷积核大小为5*5的卷积层权值；

③

之后将特征图R1和特征图P1拼接在一起，输入卷积核大小为5*5的卷积层通过激活层得到特征图R2；R1,P1表示将R1和P1阶段的特征图像拼接在一起；

④

最后特征图R2通过卷积核大小为1*1的卷积层降低维度，并使用残差连接，将输入X_m-1与降低维度后的特征图R2元素相加得到多尺度残差块输出X_m；五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次；在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享；

初始的特征图和经过五个递归的多尺度残差块结构之后，得到深度图像的特征图和Y通道的特征图

步骤(3)：特征融合网络结构构建

特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个RectifiedLinear Unit激活层；

将深度图像的特征图和Y通道特征图首先通过拼接操作得到初始融合特征图然后经过三个递归块进行细化融合，利用网络学习中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为

步骤(4)：残差结构构建，重建高质量高分辨率深度图像

重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成；

通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为最后将与进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像