[发明专利]一种实时的物体级语义地图构建和更新方法及装置

说明书

本发明涉及一种实时的物体级语义地图构建及更新方法，属于人工智能中机器人的定位和建图技术领域，所述方法包括以下步骤：S1、对二维语义框进行缩放，消除语义框的重叠情况；S2、对同一帧图像中的物体地图点进行分类，对不同帧图像的地图点进行数据关联；S3、合并地图中同个物体被拆分为多个物体的地图点；S4、根据关键帧的共视关系，统计局部地图中物体；S5、计算当前帧对应的物体点云与局部地图中已有同类物体的相似度；S6、根据物体变化情况以整个物体对应的地图点为单位对地图更新。本发明采用单目相机实时构建轻量的物体级稀疏点云地图，并通过语义信息辅助地图的更新，能够满足物体级感知需求，同时实现机器人地图的更新以便长期复用。

技术领域

本发明属于人工智能中机器人的定位和建图技术领域，具体涉及一种实时的物体级语义地图构建及更新方法。

背景技术

机器人或其它移动感知智能体的落地应用需要满足长期部署的要求，即能够在每日变化的场景中长期稳定的感知定位。此外，移动机器人要实现对未知环境的理解，需要明确环境中各种物体的属性，以便能够和环境做进一步的交互。目前研究存在以下两点问题：

(1)物体级定位感知系统的实时性依赖于成本高昂的硬件，否则实时性难以保证

视觉定位感知系统的主要成本开销在于传感器和运算平台。实时性主要取决于算法和运算平台的算力。视觉传感器可分为深度相机和普通的单目相机。深度相机如双目相机，通过视差原理获取深度信息，但逐个像素视差的计算需要消耗较多算力；深度相机如RGB-D相机，可以直接获取深度信息，但价格数十倍于单目相机。单目相机低廉轻巧，需要多视图才能计算深度信息，相比深度相机更具挑战性。算力与成本是正相关的，定位感知功能仅仅是智能终端的底层功能，通常不希望该功能占据系统全部资源，以便留给上层应用足够的算力。

(2)机器人长期部署中，环境特征变化导致维护复用地图困难

在机器人的长期部署中，环境的变化难以避免，造成原有地图的定位特征发成变化，导致依赖于该特征的重定位发生偏差，长期的环境变化往往造成基于原有的地图无法重新定位，以至于地图无法重复使用。重新建图又将会花费大量的物力财力。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种实时的物体级语义地图构建及更新方法，该方法能够满足物体级感知需求，同时能够实现机器人地图的更新以便长期复用。

为达到以上目的，本发明采用的技术方案是：

一种实时的物体级语义地图构建及更新方法，所述方法通过实时物体级语义地图构建及更新系统实现，所述系统包括实物平台和仿真平台，每个所述平台包括操作系统层、驱动层和硬件层；所述实物平台作为下位机是独立的数据处理中心，所述仿真平台位于上位机，用于下位机的数据远程可视化和环境仿真；

所述实物平台的操作系统层包括追踪线程模块、语义线程模块、重定位线程模块和地图更新模块，通过将所述追踪线程模块得到的三维地图点信息和所述语义线程模块得到的二维语义框融合，实现物体级语义地图的构建；通过所述重定位线程模块和地图更新模块实现物体级语义地图的复用和更新；

所述实物平台的硬件层包括单目相机、移动底盘和交互屏幕，所述单目相机设置在所述移动底盘上，通过所述移动底盘带动所述单目相机运动获取周围环境的图像信息；

所述实物平台的驱动层包括图像数据采集模块和底盘运动控制模块，通过所述图像数据采集模块驱动所述单目相机，通过所述底盘运动控制模块控制所述移动底盘的运动；

所述操作系统层和驱动层，所述驱动层和硬件层之间通信连接；

所述系统通过以下步骤实现物体级语义地图的构建：

S1、对二维语义框进行缩放，消除语义框的重叠情况，具体步骤包括：

S11、通过YOLO3算法得到场景物体的矩形语义框；