[发明专利]用于多模态映射和定位的系统和方法

说明书

一种用于映射和定位的系统包括第一机器人设备和第二机器人设备以及放置在环境的预定位置处的基准标签。第一机器人设备的质量优于第二机器人设备。第一机器人设备准备高分辨率多层地图，并且第二机器人设备将多层地图用于进行快速准确的定位。第一机器人设备具有视觉传感器以及光检测和测距(LIDAR)设备，并配置为通过以下方式准备多层地图：使用由所述视觉传感器捕获的图像来构建所述环境的特征点云层；构建包括标签的标识和位置在内的标签层；使用LIDAR扫描来构建占用地图；以及形成具有特征点云层、标签层和占用地图层的多层地图，其中所述特征点云层、所述标签层和所述占用地图层共享相同坐标系。

技术领域

本发明总体上涉及图像处理领域，更具体地涉及用于使用多模态进行快速机器人定位的系统和方法。

背景技术

本文提供的背景描述是出于总体上呈现本发明的背景的目的。目前提到的发明人的工作(其在本背景技术部分中描述的程度)以及在提交时可能不具有现有技术资格的描述的各方面既不明确也不暗示地被认为是针对本发明的现有技术。

在机器人研究中，同步定位和映射(SLAM)可以结合不同的传感器形态以多种方式实现，包括光探测测距(LIDAR)、相机、惯性测量单元(IMU)、全球定位系统(GPS)等。然而，困难在于实现即时姿势恢复和即时定位。基于立体相机的视觉惯性测程(VIO)法可以通过两帧的即时拍摄来帮助机器人恢复姿势，但是对于大型地图而言，定位的计算负担非常昂贵，并且当地图具有许多类似的区域/区时存在不准确性。如激光扫描、雷达扫描的其他方法可能需要多次扫描以执行定位。GPS可以以有限的精确度引导机器人快速进行室外定位，但在室内或信号环境较差的环境下其性能非常差。

因此，本领域中存在未解决的需求以解决上述缺陷和不足。

发明内容

在某些方面，本发明涉及一种用于映射和定位的系统。在某些实施例中，该系统包括用于准备多层地图的第一机器人设备和放置在环境内的预定位置中的多个标签。所述第一机器人设备具有用于捕获所述环境的第一图像的第一视觉传感器以及第一控制器。所述第一控制器包括第一处理器和存储第一计算机可执行代码的第一存储设备。所述第一计算机可执行代码在在所述第一处理器处执行时被配置为：

使用由所述第一视觉传感器捕获的第一图像来构建所述环境的特征点云层；

构建包括所述多个标签的标识和所述多个标签的位置在内的标签层；以及

使用所述特征点云层和所述标签层来形成所述多层地图，其中，所述特征点云层和所述标签层共享相同的坐标系。

在某些实施例中，第一机器人设备还具有第一光检测和测距(LIDAR)设备。执行的第一计算机可执行代码被配置为使用由所述第一LIDAR设备捕获的扫描来构建占用地图，并将所述占用地图结合到所述多层地图中作为占用地图层，使得所述占用地图层、所述特征点云层和所述标签层具有相同的坐标系。

在某些实施例中，第一机器人设备还具有安装在所述第一机器人设备上的第一惯性测量单元(IMU)或第一轮编码器。所述第一计算机可执行代码在在所述第一处理器处执行时被配置为通过以下方式更新多层地图：

通过所述第一视觉传感器捕获当前图像；

从所述当前图像中提取特征；

将从所述当前图像中提取的特征与所述第一机器人设备的前一关键帧中的特征相匹配，以获得匹配的特征；

基于所述匹配的特征来恢复所述第一机器人设备的当前姿势；

使用来自所述第一IMU或所述第一轮编码器的度量来更新所述第一机器人设备的当前姿势，以获得所述第一机器人设备的更新的当前姿势；

从所述当前图像中检测所述标签；