[发明专利]三维地图的构建方法、装置、电子设备及存储介质

说明书

本申请公开了一种三维地图的构建方法、装置、电子设备及存储介质。三维地图的构建方法，包括：获取移动摄像装置在目标区域内所拍摄的至少一帧图像；对每一帧所述图像进行语义分割，得到对应的语义分割信息；根据所述对应的语义分割信息对各所述图像进行位姿估计，得到位姿估计结果；结合对应于每一帧所述图像的所述语义分割信息以及所述位姿估计结果，构建三维地图。本申请实施例提供的三维地图的构建方法，以场景语义分割所获得的高层认知信息为基础，提出能够有效应对场景极端外观变化的长期视觉SLAM方法；通过融合语义信息的地图表示及其更新、关联形成对动态环境的自适应高层认知，提升机器人系统主动认知能力。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种三维地图的构建方法、装置、电子设备及存储介质。

背景技术

现有的感知方法面临来自时间跨度大、外观变化大的真实动态场景应用的挑战，在鲁棒性和长期性方面存在局限，使得在动态物体、光照变化、季节变化、大视角变化等条件下很容易出现感知失败；语义SLAM往往只是将语义信息引入到SLAM的某一环节，在一定程度上提升算法性能，仍没有明晰语义信息在SLAM中到底发挥什么作用，如何在视觉SLAM的各个环节充分、合理、高效地利用语义信息；语义地图对后续任务起到什么作用没有明确，当前对语义SLAM 的研究完全脱离机器人认知体系，导致开发的系统很难面临真实场景的挑战。

发明内容

本申请的目的是提供一种三维地图的构建方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种三维地图的构建方法，包括：

获取移动摄像装置在目标区域内所拍摄的至少一帧图像；

对每一帧所述图像进行语义分割，得到对应的语义分割信息；

根据所述对应的语义分割信息对各所述图像进行位姿估计，得到位姿估计结果；

结合对应于每一帧所述图像的所述语义分割信息以及所述位姿估计结果，构建三维地图。

在本申请的一些实施例中，所述方法还包括：对所述三维地图进行基于语义约束的捆绑调整优化。

在本申请的一些实施例中，在所述构建三维地图之前，所述方法还包括：

基于场景识别技术对所述图像进行重定位和闭环检测，得到重定位结果和闭环检测结果；

利用所述重定位结果和所述闭环检测结果修正所述位姿估计结果，得到修正的位姿估计结果。

在本申请的一些实施例中，所述结合对应于每一帧所述图像的所述语义分割信息以及所述位姿估计结果，构建三维地图，替换为：

结合对应于每一帧所述图像的所述语义分割信息以及所述修正的位姿估计结果，构建三维地图。

在本申请的一些实施例中，所述场景识别技术包括：

利用胶囊网络建模特征空间关系，学习到视角不变的图像表示的特性，采用弱监督的全局难样本挖掘方法来构造三元组损失进行网络训练学习。

在本申请的一些实施例中，所述获取移动摄像装置在目标区域内所拍摄的至少一帧图像，包括：

选取所述移动摄像装置在所述目标区域内所拍摄的一帧图像作为关键帧图像；

将所述关键帧图像之后的图像依次与所述关键帧图像进行相似度比对；

当检测到相似度低于预设阈值的图像时，将所述相似度低于预设阈值的的图像确定为新的关键帧图像；