[发明专利]基于卷积神经网络的深度图超分辨率重建方法

说明书

技术领域

本发明属于图像处理领域，涉及深度学习中卷积神经网络的优化，具体讲，涉及卷积层与反卷积层相结合的深度图超分辨率重建网络。

背景技术

场景深度信息的获取是计算机视觉领域的研究重点，深度信息在三维重建、机器人导航、手势识别、电影游戏、虚拟场景建模等方面有着很重要的应用。早期采用立体匹配算法得到左右图像之间的视差从而获取深度信息[1],但该算法在遮挡区域、弱纹理区域、重复纹理区域匹配效果不好，具有一定的局限性。因此，直接获取深度信息的方法受到人们的关注。TOF摄像机利用一种新型的传感器技术实现动态场景的深度信息实时获取[2]，但所获取深度图像分辨率低，物体边界处深度信息不准确，极易受噪声影响。

传统算法往往需要人工提取特征，计算复杂度较高，且不容易得到合适表示的特征。深度学习作为机器学习的重要发展，能够逐层地自动学习合适的表示特征，因而在众多领域中得到了广泛应用。卷积神经网络(Convolutional Neural Network:CNN)作为深度学习的三大重要模型之一，继承了深度学习技术自动提取特征的优点，并且通过权值共享大大减少了所需要训练的参数，使CNN能快速处理高维图像，还具备一定的平移不变性，因而在图像分类、识别、重建等领域取得了较好的效果。

目前，实现深度图像超分辨率算法主要有两种思想，一种是通过搭建RGB-Depth系统挖掘同场景彩色图像和深度图像间的相关对应关系，充分利用彩色图像的信息，与深度信息一起建立相应的数学模型，以此来实现深度图的超分辨率重建；另一种是利用多幅深度图像之间的冗余信息根据图像退化模型，进行建模实现超分辨率重建。

结合彩色图像信息的深度图超分辨率重建的理论基础是：同场景彩色图像与深度图像一般具有类似的不连续性，根据这种对应关系，可利用同一场景获取的彩色图像来实现深度图的超分辨率重建。

2007年Kopf[3]和2010年He[4]分别采用联合双边滤波函数和引导图像滤波函数指导深度图超分辨率重建，该算法更好的保存了图像的边缘信息，但当上采样因子较大时边缘会出现较明显的毛刺和模糊。2011年Park[5]等人结合非局部均值(NLM：Non-local mean)[6][7]、最小二乘和边缘加权来增强边缘细节。2012年Yang等人[8]运用引导滤波器[4][9]来指导深度图重建，该系统运算效率高取得了较好的效果。2013年Liu[10]等人运用测地距离来计算滤波系数，该方法在大部分区域效果较好，但在彩色图像的纹理区域会引入噪声。同年Ferstl[11]等人先对校正后的彩色图像进行计算得到一个各向异性扩散张量，并利用它来指导深度图上采样。总体上来说，这类方法所需图像数量少，系统搭建也比较简单，但仍然存在不完善的地方，算法往往会将彩色图像的纹理信息映射到重建的深度图中，对最终结果造成了一定的影响。

只利用深度信息的多幅深度图重建将自然图像超分辨率算法思想运用到深度图像超分辨率问题中，通过构造目标函数将超分辨率问题转化为优化问题进行求解。

2011年Gevrekei[15]采用基于凸集投影的深度图序列重建算法，并由Tekalp等[16]对其进行了扩展，该算法是一种基于集合论的方法。Rajagopalan[17]假设深度图满足MRF先验分布模型，利用最大后验概率构造目标函数。Diebeld等[18]也基于马尔科夫随机场进行深度图重建，Aodha等[19]利用匹配的方法搜寻最佳的深度图图像块进行重建，Schuon[20]则利用正则约束项采用极大似然估计构造目标函数，进行深度图的重建。

这类方法只利用了深度图像的内在信息，由单幅低分辨率深度图像进行超分辨重建，分辨率提升不大。由于初始深度图像分辨率较低，缺失信息较多，重建后的深度图像还很难满足实际应用的需要。所以这类方法一般需要构造序列深度图像才能得到超分辨率的结果。而且深度图序列的获取也是目前研究的一大难点，一般采用TOF(Time of flight)摄像机来获取深度图，但是TOF相机价格昂贵，构造飞行时间相机阵列代价较大。采用硬件获取深度图代价较高，所以人们着手于通过改进算法来提高深度图的分辨率。