[发明专利]基于自注意力导向特征融合的自监督单目深度估计方法

说明书

本发明公开一种基于注意力导向特征融合的自监督单目深度估计方法，本发明在编码器中加入通道自注意力模块用以捕获结构场景中更多的全局上下文信息，进而增强特征表示；在解码器中设计基于空间交叉注意力机制的特征融合模块，将增强的特征作为high‑level的特征来引导low‑level特征进一步校准解码器中的特征，以强调特定的语义信息，增强在非连续区域的特征表示能力；最后，解码器输出连接多层深度估计模块，以监督解码器中间层的结果，提高深度估计的精度，防止粗尺度上的估计误差累积并影响到细尺度上的估计，获得更加准确的深度图。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于注意力导向特征融合的自监督单目深度估计方法。

背景技术

单目图像深度估计在自动驾驶、三维重建、增强现实等计算机视觉任务中有着广泛且重要的应用。随着深度卷积神经网络(Convolutional Neural Networks,CNN)的发展，基于CNN的单目图像深度估计方法已经可以从单张图像直接获取准确的目标深度信息，即实际3D物体投射到2D图像中每个像素点与相机的距离。相比于使用深度传感器，如结构光或激光雷达等主动探测深度的方法，单目深度估计则不需要昂贵的设备，因此在实际应用中要更加便捷。

在单目深度估计任务中，根据是否需要真实深度信息可以进一步划分为全监督单目深度估计和自/无监督单目深度估计。尽管全监督的方法的精度较高，但由于该方法需要大量且多样的真实深度标签，在训练数据的准备中往往成本较高。近年来，自监督深度估计，作为一种重要且极具挑战性的方法，凭借其利用没有标签的视频或双目数据直接端到端的训练深度网络的优势成为研究的热点，并且取得了大量的研究成果。Monodepth2的提出也为自监督单目深度估计提供了一套较为完整的框架，有效解决了遮挡以及违反相机运动假设的像素点的深度估计问题。但是，该方法仍然存在许多不足。一方面，Monodepth2中没有充分利用图像中的语义信息，只是简单地使用CNN来获取输入图像的语义特征并隐式地学习场景结构信息，这些不够鲁棒的场景结构表示会导致全局上下文信息感知不完整。另一方面，跳跃连接作为U-Net网络中的重要结构，目的是在解码过程中恢复下采样丢失的信息，然而使用拼接来融合层之间的特征缺乏对局部细节的进一步处理，忽视了不同level特征中语义信息和空间信息之间的差异，因此使用跳跃连接来融合low-level特征和high-level特征所带来的增益是非常有限的。

发明内容

本发明的目的是提供一种基于注意力导向特征融合的自监督单目深度估计方法，解决了现有技术中存在的全局上下文信息感知不完整以及不同level特征融合不充分的问题。

本发明所采用的技术方案是：

基于注意力导向特征融合的自监督单目深度估计方法，其包括以下步骤：

步骤1，使用连续的视频帧或者双目图像作为数据集，将图片调整至同一大小后作为训练集进行数据增广；

步骤2，构建基于注意力导向特征融合的自监督单目深度估计框架，包括改进的深度估计网络和位姿估计网络：

改进的深度估计网络包括依次连接的编码器和解码器，所述编码器使用ResNet18，编码器的输出端连接解码器，解码器为5层结构，每层包含卷积以及上采样模块，其中第2、3、4、5层依次连接有空间交叉注意力模块以及深度估计模块；所述编码器的输出还连接通道自注意力模块，通道自注意力模块的输出分别与每个空间交叉注意力模块的输入连接；

步骤3，设计损失函数，采用数据增广后的训练集和验证集对基于注意力导向特征融合的自监督单目深度估计框架进行训练；

步骤4，输入待估计图片，采用训练好改进的深度估计网络对待估计图片进行深度估计输出结果。

本发明的特点还在于：

所述步骤1中的数据增广方法包括依次进行的随机水平翻转、随机亮度、对比度、饱和度以及色调抖动。