[发明专利]一种应用于稀疏地图稠密化的深度补全方法

说明书

本发明公开了一种应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，包括以下步骤：采用卷积神经网络构建生成器，根据真实的稠密深度图构建L1损失函数，采用卷积神经网络构建判断器，通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。该深度补全方法区别于已有的多视图进行图像的深度预测的算法，基于对抗神经网络的深度补全算法有利于提高深度补全的有效性和实时性，从而实现ORB‑SLAM的稀疏地图稠密化并应用于移动机器人视觉导航。

技术领域

本发明属于机器人技术领域，尤其涉及一种应用于稀疏地图稠密化的深度补全方法。

背景技术

使用单目或双目视觉传感器进行环境建模，是一个低成本的、具有巨大应用前景的计算机视觉应用领域，一般而言，在机器人领域常将其归类为VSLAM(VisualSimultaneous Localization and Mapping)问题。在目前VSLAM的研究问题上，ORB-SLAM是公认的成熟且鲁棒的VSLAM的系统，该系统统拥有较高的定位精度，具备了前端里程计、后端局部优化以及回环检测全局优化等各个模块，但是由于其利用多视图几何进行定位计算量大的本质，导致构建的地图相当稀疏而不能用于后续的机器人导航。稀疏地图的稠密化通常利用图像间的数据关联以及多视几何关系，从而实现图像每个像素的深度预测。

因此，有必要研究一种应用于稀疏地图稠密化的深度补全方法。

发明内容

本发明的目的在于提供一种应用于稀疏地图稠密化的深度补全方法，以实现ORB-SLAM的稀疏地图稠密化，使之可应用于移动机器人视觉导航。

为达此目的，本发明采用以下技术方案：

本发明提出了一种应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，包括以下步骤：

采用卷积神经网络构建生成器，其中，以当前RGB图像和稀疏深度图作为生成器的输入，生成器的输出作为预测的稠密深度图；

根据真实的稠密深度图构建L1损失函数，其中，L1损失函数等于预测的稠密深度图与真实的稠密深度图之间的差值；

采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数，来优化判断器的参数；

通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；

将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。

可选的，所述真实的稠密深度图的获取方法为采用激光雷达或者深度相机获取。

可选的，所述将生成器的损失函数反向传播给生成器进行生成器参数优化，得到更加准确的预测的稠密深度图的步骤包括：

判断器和生成器参数优化是同时进行的，生成器根据其自身的损失函数每生成一帧新的预测的稠密深度图，即作为判断器的输入，以此生成判断器的新的损失函数。

可选的，所述采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数的步骤包括：

预测的稠密深度图和RGB图像作为判断器的输入，对应输出为假损失，其中，假损失为判断器的输出偏向于判断该稠密深度图为假；

真实的稠密深度图和RGB图像作为判断器的输入，对应输出为真损失；其中，真损失为判断器的输出偏向于判断该稠密深度图为真；

假损失和真损失进行加权生成判断器的损失函数，来优化判断器的参数。