[发明专利]基于深度相机的场景地图生成方法、装置及设备

说明书

一种基于深度相机的场景地图生成方法包括：读取相机的视频流图像帧，获取所述视频流图像帧的关键帧；确定所述关键帧相对于初始关键帧的位姿变换矩阵；对所述关键帧进行回环检测，根据所述回环检测结果，调整相应的关键帧的位姿，根据调整后的关键帧的位姿构建三维点云地图。只需要采集少量有效的关键帧，可大大的降低对设备硬件的要求，并且通过回环检测的方式构建三维点云地图，在满足三维空间下定位导航需求的前提下能够显著降低机器人上的导航方案的部署成本。

技术领域

本发明属于视觉机器人领域，尤其涉及一种基于深度相机的场景地图生成方法、装置及设备。

背景技术

自主移动机器人导航技术是智能机器人领域的一个重要研究方向，其中视觉导航方式具有信息量大、灵活性高、成本低等优点。机器人视觉同时定位与建图技术是移动机器人、飞行机器人等机器人系统的一项关键基础技术，有着不可或缺的特点。

传统的二维激光SLAM(英文全称为Simultaneous Localization and Mapping，中文全称为机器人同时定位与建图)技术，使得机器人在未知环境中进行定位的同时构建地图，然后以此地图为基础可进行路径规划与导航。而三维激光雷达价格能够重建三维地图，但价格较昂贵。激光传感器虽然可以获得周围环境的位置信息，但并不具备在语义层面进行更高层次场景识别的能力。而目前较流行的基于ORB_SLAM2能够实时定位和建图，但其基于特征点的方法导致所建的图只有稀疏的地图点，却不能用于实际较为复杂的场景的运动规划和导航。而比较流行的在GPU(英文全称为Graphics Processing Unit，中文全称为图形处理器)上实现三维稠密建图方案，对硬件设备有较高的要求，在满足三维空间下定位导航需求的前提下，机器人的导航部署成本高。

发明内容

有鉴于此，本发明实施例提供了一种基于深度相机的场景地图生成方法、装置及设备，以解决现有技术中实现三维稠密建图时，对硬件设备有较高的要求，在满足三维空间下定位导航需求的前提下，机器人的导航部署成本高的问题。

本发明实施例的第一方面提供了一种基于深度相机的场景地图生成方法，所述基于深度相机的场景地图生成方法包括：

读取相机的视频流图像帧，获取所述视频流图像帧的关键帧；

确定所述关键帧相对于初始关键帧的位姿变换矩阵；

对所述关键帧进行回环检测，根据所述回环检测结果，调整相应的关键帧的位姿，根据调整后的关键帧的位姿构建三维点云地图。

结合第一方面，在第一方面的第一种可能实现方式中，所述获取所述视频流图像帧的关键帧的步骤包括：

检测当前帧距离上一视频关键帧的间隔大于预定间隔；

以及，检测当前图像帧中特征点个数大于预定值；

以及，检测当前图像帧中特征点与上一关键帧中的特征点重复率小于预定值；

当同时满足时，确定当前帧为视频流图像的关键帧。

结合第一方面，在第一方面的第二种可能实现方式中，所述确定所述关键帧相对于初始关键帧的位姿变换矩阵的步骤包括：

以第一个插入的关键帧朝向作为世界坐标系，计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵；

根据相邻的两个关键帧的位姿变换矩阵，计算关键帧相对于初始帧的位姿变换矩阵。

结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述以第一个插入的关键帧朝向作为世界坐标系，计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵的步骤包括：