[发明专利]一种面向物体的视觉SLAM轻量化语义地图创建方法

说明书

本发明公开了一种面向物体的视觉SLAM轻量化语义地图创建方法，通过几何SLAM和语义目标检测为图像中物体分配对应的三维点云以初始化物体；采用非参数统计和参数统计进行物体数据关联以更新物体数据库；利用对离异点鲁棒的孤立森林算法估计物体初始位置和尺寸，通过线段对齐算法估计物体方向，并同相机位姿一起联合优化得到准确的物体9自由度位姿；采用三维立方框和二次曲面对物体进行建模，创建面向物体的轻量化语义地图。本发明克服了多物体、多类别、无规律环境下的数据关联与物体数据库更新存在的困难，并解决了在相机运动快速、物体遮挡情况下的物体位姿估计，极大地提升了机器人对环境的理解能力。

技术领域

本发明属于计算机视觉及机器人领域，具体涉及一种面向物体的视觉SLAM轻量化语义地图创建方法。

背景技术

基于视觉SLAM创建的语义地图是将相机获取的环境三维几何信息与通过语义分割或目标检测方法获取的语义标签叠加而生成的。不同于传统的几何地图仅能满足基本的定位需求，语义地图能为机器人提供语义导航、定位、环境理解等更高级别、更智能化的功能。当前语义地图构建存在诸多挑战：1)数据关联与全局物体数据库更新不准确。数据关联用于确定当前时刻检测到的物体与地图数据库中已存在或其他时刻观测到的物体的对应关系，在多物体、多类别、无规律环境和相机观测视角不佳的情况下的语义数据关联存在很大困难，从而导致全局物体数据库构建与更新不准确。2)物体位姿估计不准确。仅用物体点云质心表达物体位置的方法的环境表达能力太弱，由于相机快速运动、物体遮挡和噪点的存在使得估计物体的方向和尺寸极为困难。3)地图存储效率低。像素级稠密语义地图创建成本高、存储量大、不易更新且存在大量无用的信息。因此，既能满足环境语义表达又能满足实际应用需求的语义地图应该是面向物体的轻量化地图，其关键问题在于鲁棒的物体级数据关联算法、准确的物体位姿估计算法和恰当的物体建模方法。

发明内容

针对以往语义地图创建方法在数据关联、物体位姿估计和物体建模上的不足，本发明提出了一种面向物体的视觉SLAM轻量化语义地图构建方法。首先对数据关联与物体数据库阶段的统计量分布进行建模，对服从高斯分布和不服从高斯分布的统计量分别使用参数统计和非参数统计进行关联，以创建物体信息库。然后利用对外点鲁棒的孤立森林算法和线段对齐算法估计物体位置、尺寸和方向。最后将物体9自由度位姿用三维立方框和二次曲面表达，创建轻量化物体级语义地图。该方法能实现鲁棒的语义数据关联，避免全局物体数据库的错误和遗漏，并创建面向物体9自由度位姿的语义地图，提升机器人环境感知能力，以服务于导航、抓取、交互等智能化应用场景。

本发明的技术方案是：1)首先根据并行运行Yolo v3目标检测网络和视觉SLAM系统给物体分配对应的三维点云和语义标签。2)对每个物体三维点云和三维质心的分布进行建模，利用非参数统计和参数统计进行数据关联以更新全局物体数据库。3)利用孤立森林算法和线段对齐算法确定物体尺寸和方向并进行优化。4)将估计的物体9自由度位姿使用立方框和二次曲面进行建模，以创建面向物体的轻量化语义地图。

面向物体的视觉SLAM轻量化语义地图构建方法，包括如下步骤：

步骤一，几何-语义度量初始化物体：并行执行几何视觉SLAM和Yolo v3语义目标检测，为物体分配三维点云和语义标签。

几何SLAM首先对图像提取二维ORB特征点，通过多视图三角化获得其对应的三维点云，并使用Yolo v3目标检测网络得到物体在图像中的二维检测框，通过检测框和特征点的位置关系为物体分配三维点云，并将点云均值作为物体质心。

步骤二，物体数据库构建与更新：根据物体中点云与质心的统计量分布，采用非参数统计和参数统计进行物体数据关联并更新物体数据库。

数据库构建与更新涉及的统计量如图1所示，包括当前帧观测到的某物体的点云集合地图数据库中已存在的某物体的点云集合当前帧观测到的某物体的点云质心地图数据库中已存在的某物体的质心集合和地图数据库中两个物体的质心集合C₁，C₂。