[发明专利]基于联合自注意力机制的单目深度方法

说明书

本发明涉及一种基于联合自注意力机制的单目深度估计方法，其包括：基于联合注意力模块的编码器、基于U‑net的解码器和一个基于特征金字塔的连接模块组成；按所需深度图的分辨率设置各卷积层参数；搭建估计网络模型；使用训练数据集训练网络模型，提取解码器的输出；计算解码器输出和其对应深度图，结合损失函数对模型参数进行修改；使用训练完成后的最终模型对输入图像进行深度预测。本发明在编码器模块中使用了空间自注意力机制、通道自注意力机制并引入过滤机制从而利用局部特征映射并结合全局上下信息来提取深度信息，解决了在卷积神经网络中无法有效集成局部信息和全局信息的问题，进一步提高深度估计的精度。

技术领域

本发明涉及三维图像深度估计技术领域，特别涉及一种基于联合自注意力机制的单目深度方法。

背景技术

图像深度信息对于计算机理解真实世界的3D场景至关重要，而深度估计技术是理解场景中几何关系的重要组成部分，也是环境感知的基本任务，它广泛用于3D图重建，机器人导航，姿态估计及定位与地图构建(SLAM)等任务。深度估计任务的内容是获取图像的深度信息，即每个像素点表示的场景与观察者之间的距离。目前，主流使用激光雷达和深度传感器获取物体距离信息，但这些传感器存在价格高昂，对使用环境要求高等缺陷，例如激光雷达在大雨、浓烟、浓雾等恶劣环境下，存在极大的衰减，直接影响其可用测量距离和测量精度。因此从图像中获取距离信息成为业界的首选方案。

近年来，随着计算机技术的发展，深度学习在计算机视觉领域取得了一系列突破性进展，使用深度学习技术进行单目图像深度估计成为了热门领域。相比于使用传感器进行测量，通过计算机视觉的解决方案具有小巧方便、价格低廉，适应性广的特点。通常使用单目、双目，甚至多目相机采集原始图像，使用立体相机时需要固定的位置和仔细的校准，带来巨大的时间消耗并且该方法计算量大难以满足系统对实时性的需求。单目相机相比于激光或立体相机等传感器具有成本低廉，使用方便的优势。因其体积较小，对使用环境要求低，在机器人、无人车等设备中使用单目相机部署方便并能够极大的节约占用空间。因单目图像深度估计计算量小，时间复杂度较低，可以满足实时计算的需求，越来越多的研究者开始探索使用单目相机进行深度估计。近年来，逐渐兴起的基于卷积神经网络(CNN)的方法极大地提高了单目图像深度估计的性能。

Laina等人提出利用带有残差网络的全卷积网络进行深度估计，设计提出了一个有效的将小卷积代替大卷积的上采样方法并设计引入Huber loss的损失函数取得了良好的效果。Cao等人将深度估计的回归问题转化为离散的分类问题，并使用全卷积的深度残差网络实现分类，使用CRF优化最终的深度估计值。Qi等人提出了几何神经网络(GeoNet)联合预测单个图像的深度和曲面法向量图，通过以CNN为主干网络分别构建深度到向量、向量到深度的两分支模型，GeoNet整合了深度和曲面法线之间的几何关系，这两个分支有效提升了模型预测效果，获得了较高的一致性和相应的精度。针对单目深度估计网络中存在的细节丢失问题，Hao等人提出了使用空洞卷积来提取高层次的上下文信息，同时也保留了许多特征图上的空间细节信息。通过将空洞卷积结合Res-Net101得到致密特征提取模块(DFE)。利用不同级别的DFE提取的信息，创新性地提出了深度图生成模块(DMG)，DMG由注意力模块AFB(Attention Fuse Block)和通道衰减模块CRB(Channel Reduce Block)组成，该方法在保证区域深度预测正确性的基础上，细化了预测图的细节特征。FU等人提出DORN网络同样将回归问题转换为分类问题，该分类问题不同于普通的分类问题，深度值分类存在一定的有序性，所有的类别可以按照从小到大的次序排列，因此提出了“有序回归”概念，该方法采用空间增加离散进行采样，避免了训练过程中大深度值对网络训练地影响并在测试集上取得了良好的效果。

虽然基于卷积神经网络的单目深度估计模型已经取得了不错的成果，但仍面临一些挑战和问题。

目前，深度估计方法的预测深度图仍存在边缘模糊、细节缺失以及边缘信息丢失的问题，具体来说，大多数深度估计网络都使用卷积来捕获局部信息，卷积的接受域很小，无法更全面提取远距离空间信息。