[发明专利]基于深度学习的深度图超分辨率方法

摘要

本发明属于计算机图像处理领域，为提出一种利用对应的高分辨率的彩色图像，可以有效对深度图进行超分辨率，获得锐利的深度图边缘的方法。为此，本发明采取的技术方案是，基于深度学习的深度图超分辨率方法，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图；2)数据增强；3)将得到的深度彩色图像对进行数据预处理；4)设计深度卷积神经网络结构；5)用预处理好的数据集训练所设计的卷积神经网路，训练好卷积神经网络后，将低分辨率的深度图和对应的彩色图输入到训练好的网络中，在输出层输出完成超分辨率后的深度图。本发明主要应用于图像处理。

主权项

1.一种基于深度学习的深度图超分辨率方法，其特征是，包括下列步骤：1)从公共数据集中选取一定数量的纹理丰富的深度图和与之对应的彩色图，将每对深度彩色图像命名一致；2)数据增强：将每一对图片都进行旋转90°，180°和270°的操作，图片数量增大为原来的4倍；3)将得到的深度彩色图像对进行数据预处理：首先将深度图进行下采样后，再利用双三次插值方法将图像恢复到原来大小的尺寸，得到低分辨率的深度图；其中，需要将图片裁剪成128×128的小块，裁剪过程中步长设定为100，分别对原深度图，彩色图和低分辨率的深度图进行裁剪，三种类型的图像块命名都一一对应；其中从彩色图和低分辨率的深度图裁剪出来的图像块作为训练卷积神经网络的输入数据，从原深度图裁剪出来的图像块作为训练卷积神经网络的数据标签，也就是真值；特别的，对彩色图做相关处理，即利用Canny边缘检测算子获取低分辨率的深度图的边缘区域，利用高斯核模糊平滑这些区域的边缘以后，只保留对应的彩色图的这些区域的内容；用Ih表示由高分辨率彩色图得到的灰度图，先将彩色图进行预处理的操作得到边缘引导图Eh。利用Canny边缘检测算子，从低分辨率深度图Dl中获取其中的边缘位置，也就是对应高分辨率彩色图中有用的信息的位置，由于用Canny边缘检测算子得到的边缘信息宽度只有一个像素，因此卷积上一个高斯模糊核扩宽边缘区域，接下来进行二值化的操作，将之前的值为1的区域的宽度由1个像素值扩大为带状，为了避免引入新的边界，再次卷积一个高斯模糊核将边缘区域的边界模糊化，将高分辨率强度图Ih与边缘区域相对应的位置的值相乘，将多余的信息滤除掉；4)设计深度卷积神经网络结构：网络结构为两路，将网络设计成全卷积形式，每个卷积层的步长都设为1，这样网络的输入、每一层的特征图以及输出都保持尺寸一致；卷积神经网络在高分辨率彩色图的引导下，学习低分辨率深度图和高分辨率深度图之间一个端到端的映射，该映射表示为：Dh＝F(Dl,Gh,{W,b})+Dl  (2)其中，Dh表示高分辨率深度图，Dl表示低分辨率深度图，Gh表示用来做引导的由对应的高分辨率彩色图得到的强度图，F(·)代表要学习的映射，W和b分别表示卷积神经网络中的权重和偏置，具体的，该网络可以分为三个部分：特征提取部分、映射和融合部分、重建部分；训练该网络的时候使用的损失函数为均方差函数，表示如下：其中，Θ＝(W,b)表示的是网络中的参数，代表的是高分辨率深度图的真值。训练过程中，用随机梯度下降的方法来最小化损失函数；5)用预处理好的数据集训练所设计的卷积神经网路，训练好卷积神经网络后，将低分辨率的深度图和对应的彩色图输入到训练好的网络中，在输出层输出完成超分辨率后的深度图。