[发明专利]一种基于稀疏激光观测的图像深度估计方法

说明书

技术领域

本发明涉及场景深度估计领域，尤其涉及一种基于单目图像和稀疏激光的场景稠密深度估计方法。

背景技术

人类基于丰富的经验和不断地学习，从单目图像也具有估计图像中物体远近的能力，即一定程度上的深度估计能力。近年来，机器学习方法也在模仿人类这一深度估计能力上取得了显著进展，其中尤以数据驱动的深度学习技术表现突出。这一技术避免了手工特征设计过程，基于原始的单目RGB图像学习特征，并输出对于图像对应深度的预测。

Eigen等人首次提出了基于深度学习的单目深度估计，他们构造了一个两阶段的深度估计网络，第一个阶段生成粗略估计并在第二阶段进行精细微调。随后，他们将该工作扩展为同时估计场景深度、深度法向量以及场景语义，并验证了同时估计深度法向量以及语义信息有助于场景深度估计性能提升。Liu等人探讨了结合深度学习与条件随机场的深度估计，对图像进行超像素分割，并对所有超像素构造条件随机场进行优化。Li和Wang分别在其上进行了扩展，通过分层的条件随机场逐层从超像素层面向像素层面优化。

尽管这些方法验证了从单目图像估计深度的可能，实际上单目图像本身是尺度信息缺失的。Eigen等人也提到，基于单目图像的深度估计可能存在一个全局的偏差。

发明内容

本发明的目的在于结合稀疏的单线激光信息估计图像稠密深度，以减小场景深度估计全局偏差，获得可信度更高的场景深度估计。

为实现上述目的，本发明基于深度学习方法，以单目图像和稀疏单线激光为输入，自主学习特征并得到稠密深度估计，训练过程的具体步骤如下：

一种基于稀疏激光观测的深度图像估计方法，其特征在于它包括如下步骤：

步骤一，为将稀疏单线激光信息稠密化，所述稀疏激光包括单线激光和多线激光，其中以稀疏激光中的单线激光构造参考深度图与残差深度图,在三维空间中对单线激光中的每个激光点以垂直地面的方向进行拉伸，得到一个与地面垂直的参考深度面；根据单目相机与单线激光的校准信息，将三维空间中得到的参考深度平面投影到单目相机获取图像的像平面上，得到一个与所述图像对应的参考深度图,将通过深度传感器获取的绝对深度图与参考深度图做差，得到残差深度图；

步骤二，将单目相机获取的单目图像以及按步骤一所述得到的参考深度图作为训练数据，训练卷机神经网络估计对应的残差深度图；

步骤三，将卷机神经网络估计的残差深度图与参考深度图相加，得到估计的绝对深度图，称为绝对深度估计图，并在此基础上进一步构造优化的卷机神经网络，缩小该绝对深度估计图与深度传感器获得的绝对深度图之间的差异；该优化的卷机神经网络与步骤二所述用于估计残差深度的卷机神经网络可以叠加在一起，进行端到端优化，即输入单目图像与参考深度图，输出得到经过优化的绝对深度估计图。

在上述技术方案的基础上，本发明还可以采用一下进一步的技术方案：

将深度神经网络端到端输出得到的绝对深度估计图与稀疏激光深度图通过条件随机场进行融合，从而确认在绝对深度估计图中有单线激光观测的位置其深度值与激光观测的深度值是一致的。

步骤二中，训练卷机神经网络估计对应的残差深度图方式如下：将待拟合的深度残差图上的每个像素点的残差深度的值离散化到数个自然数数值上，以分类形式实现对残差深度的深度估计。

由于采用本发明的技术方案，本发明的有益效果为：本发明能结合部分稀疏的真实深度观测，如单线激光雷达，而获得更为精准的深度估计，本发明能够减小场景深度估计全局偏差，获得可信度更高的场景深度估计。

附图说明

图1a为输入单目图像；

图1b为期望估计的深度图像示例；

图2a为稀疏激光观测；

图2b为参考深度图以；

图2c残差深度图示例；

图3a为深度图像真实；

图3b为优化前深度估计；

图3c为优化后深度估计。

具体实施方式

为了更好的理解本发明的技术方案,以下结合附图作进一步描述。图1展示了深度估计的例子，输入为图1a所示的单目图像，要求估计图1b所示的场景深度。