[发明专利]一种利用多任务互补提高深度估计准确性的方法

说明书

本发明公开了一种利用多任务互补提高深度估计准确性的方法。本发明方法使用SFM系统得到的稀疏的深度图像作为辅助输入，与RGB图像一同输入到卷积神经网络，作为辅助线索提高深度估计的准确性。将稀疏的深度图像和RGB图像当作有噪声的数据，通过去噪编码器对输入数据进行编码，提取其中的特征，将提取的四组特征串联后进行共享，解决了单独的RGB图像以基于卷积神经网络的方法进行深度估计时没有可靠且鲁棒的线索的问题；将编码后的特征通过解码器重建为精确的深度图，得到了更加精确的深度估计结果。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种利用多任务互补提高深度估计准确性的方法。一种以单目相机进行深度估计的方法。

背景技术

作为计算机视觉领域中的重要组成部分，深度估计在近年来随着深度学习的发展变得热门起来。深度估计的主要应用有场景理解、场景建模、深度感知，对于自动驾驶、可穿越性估计也有很大的帮助。

深度估计可以通过激光雷达等设备实现，也可以使用计算机视觉的方法通过摄像头采集图像获得。使用激光雷达等设备有诸多不便，具有设备的价格高昂、不能适用于透明物体等缺点；近年来随着深度学习的发展，使用传统机器学习的方法进行深度估计成果逐渐减少，这是由于传统方法需要手工提取的特征，且这些特征并不能很好的表示真实的3D结构信息，不能取得精确的结果。深度学习的巨大进步，使得让模型自己从图像中学习到丰富的特征成为可能，因此将卷积神经网络(CNN)用于深度估计在近五年中逐渐成为主流。另一方面，采集图像的设备又可分为单目摄像头与双目摄像头，单目摄像头是日常生活场景中常用的图像采集设备，价格低廉，引用广泛；双目摄像头是模仿人眼的结构设计的，可以通过双目视差计算深度，这种方法计算量巨大且受光照和距离影响严重。

实际上单纯通过二维RGB图像要获得三维的深度信息，由于没有可靠的线索，依然存在困难；特别是使用基于卷积神经网络的端到端的回归方法，从RGB图像估计深度，会忽略许多线索和特征。考虑到Geiger等已有的计算稀疏点云的方法，可以用来计算图像的稀疏深度图，利用这种带有噪声的且稀疏的深度图像作为RGB图像的辅助，可以达到提升预测精度的目的。

发明内容

本发明旨在解决单纯使用RGB图片，通过基于卷积神经网络的方法进行深度估计不能够得到足够好结果的这一问题，通过一种利用多任务互补提高深度估计准确性的方法，用来提高深度估计准确性。

为达到上述目的，本发明方法使用SFM系统得到的稀疏的深度图像作为辅助输入，与RGB图像一同输入到卷积神经网络，作为辅助线索提高深度估计的准确性。

步骤1、通过SFM系统对数据集中的RGB图像进行处理，得到稀疏深度图像，和数据集中原RGB图像一一对应，成为数据集的一部分。

步骤2、将RGB图像与稀疏深度图像分别输入到RGB去噪编码器与深度去噪编码器，分别得到编码后的关于稀疏深度图和RGB图像的特征，分别记作稀疏深度图特征d_feat、RGB图像R通道特征r_feat、RGB图像G通道特征g_feat、RGB图像B通道特征b_feat。

其中RGB去噪编码器结构如下：

输入层大小等于输入的RGB图像尺寸大小；隐藏层大小为1024个神经元，激活函数为relu激活函数，权值初始化方式为按正态分布随机初始化；输出层大小与输入层大小相同等于输入RGB图像的尺寸大小，权重初始化方式为按正态分布随机初始化，激活函数为sigmoid激活函数。

深度去噪编码器的结构为：

输入层大小等于稀疏深度图像尺寸大小；隐藏层大小为1024个神经元，激活函数为relu激活函数，权值初始化方式为按正态分布随机初始化；输出层大小与输入层大小相同等于输入的稀疏深度图像的尺寸大小，权重初始化方式为按正态分布随机初始化，激活函数为linear激活，即不做任何改变。隐藏层的输入为输入层的输出，隐藏层的输出作为输出层的输入。