[发明专利]一种结合梯度和纹理特征的单目图像深度估计方法

说明书

本发明公开了一种结合梯度和纹理特征的单目图像深度估计方法。本发明包含以下步骤：步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构；步骤2：提取单目图像的附加图像特征；附加特征主要是针对图像提取相应的纹理特征和梯度特征；步骤3：构造训练高维特征学习的编码器；步骤4：将训练完成的高维特征输入到步骤1训练练完成的解码器中，进行解码得到我们最后的深度输出图。本发明采取函数关系和图像存在的深度线索相结合的方式，弥补图像中实例的细节层面的深度信息缺失的问题。本发明把图像的梯度信息和纹理信息作为深度线索，协助深度卷积网络学习图像的深度信息。

技术领域

本发明涉及计算机视觉图像处理领域，特别涉及一种结合梯度和纹理特征的单目图像深度估计方法。

背景技术

图像深度估计指的是根据二维图像中恢复出现实场景的深度信息，其在场景理解、三维重建、自动驾驶等领域有着重要作用。由于普通相机拍摄的图片只记录了场景的二维信息，缺乏对场景的深度表示，因此如何恢复二维图像的深度信息成为了计算机视觉领域的一项重要任务。当前获取图像深度信息的方法主要有基于多相机视差、基于运动恢复结构和利用深度相机等方式。基于多相机视差的深度估计方法需要在场景中布置多台相机，每台相机同时记录场景点的角度和位置信息，利用各视角图像中的匹配点计算出相机的视差并恢复场景的深度信息。对于基于运动恢复结构的深度估计方法，其利用移动的单目相机对场景进行记录，仅仅通过比较视频各帧之间的差异来恢复深度信息，并不能很好地收集完整且全面的图像信息，因此无法对单幅图像进行深度重建。此外，当前存在的消费级深度相机由于对环境光照敏感，计算复杂度高等原因无法在现实中的各类场景下使用。

基于单目图像的深度只利用一个视点的图像进行估计，深度线索的缺乏,使得估计问题难度加大，为此人们进行了大量的先前工作，大致包括基于深度线索的深度估计方式、基于机器学习的方式以及基于深度学习的深度估计方式。常用的深度线索包括遮挡、法线、语义信息等，通常利用对应的深度线索与深度之间的关联从而来计算深度，通常能恢复较高精度的场景深度信息，对于深度估计有很大帮助，但同时这种方法也存在巨大缺陷：其受制于场景条件和设备条件，并且需要求解设备的内外参数这些问题都会影响深度估计速度。基于机器学习的深度估计方式有很好的适用性，它不受场景的限制。它通过以深度图作为标签，将原图输入到模型中进行经验学习。但这种方法的学习速度较慢效率不高。而基于深度学习的单目深度估计方式出现则在一定程度上弥补了这些缺陷，其主要依据像素值关系反应深度关系，拟合函数把图像像素值反映到深度空间，从而获得深度图轮廓。从大量实验结果可以看出存在这样的函数从像素值中恢复深度值，但其深度图的效果不佳，图片呈现模糊，并且与原图相比，只能学习到图像深度值的大致分布，在诸多细节上仍存在巨大缺陷，这也正表示单纯依赖这样的函数来反映空间信息是片面的。

为此，我们采取函数关系和图像存在的深度线索相结合的方式，由大量的先前的工作可以看出，使用深度学习可以学习到图像的深度空间的大致分布轮廓，与此同时一些细节层面的信息缺失可以通过传统的深度线索可以得到及时的弥补。例如图像的语义信息可以帮助机器理解图像中的实例，确定实例的区域，在同一块区域范围内，有着相近的深度信息，这可以很好地弥补图像中实例的细节层面的深度信息缺失的问题。而在发明中，我们把图像的梯度信息和纹理信息作为深度线索，协助深度卷积网络学习图像的深度信息。由大量的实验证明，本发明中的方法对图像的深度信息有着良好的学习能力。

目前基于单目图像的深度估计算法具有方便部署、计算成本低等优点，受到了学术界和工业界日益增长的关注。越来越多的人们开始利用深度学习的方式来获得图像的深度特征。如今深度估计在生活环境中的应用变得日益普遍，例如帮助潜在应用更好理解网络或是在社交媒体上发布的图像，又或者可以改善现有的识别任务，并支持3D建模，机器人等应用，在增强现实(AR)，自动驾驶，场景重建等领域上发挥巨大的作用。

发明内容

本发明提出一种结合梯度和纹理特征的单目图像深度估计方法。该方法基于深度学习可以从单目图像中简单有效地提取出深度特征。