[发明专利]一种基于语义地图的目标搜索方法

说明书

本发明提出一种基于语义地图的目标搜索方法，属于机器人导航、计算机视觉领域。该方法首先建立语义关系图，对待进行目标搜索的空间建立导航图并选取采样点，在各采样点从多视角采集RGB图和深度图；机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜，结合深度图完成该视角局部的三维语义重建；整合所有局部的三维语义重建，得到待进行目标搜索的空间的语义点云；去除点云中的z维数据并去噪，得到该空间的语义地图；机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略；搜索完成后，更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力，提高目标搜索的效率。

技术领域

本发明涉及机器人导航、计算机视觉领域，特别涉及一种基于语义地图的目标搜索方法。

背景技术

随着计算机视觉与移动机器人领域的快速发展，智能服务机器人将逐渐进入人类的生活，机器人智能化体现在生活中的各个方面，例如如何让一个机器人去厨房拿一个香蕉，实现这个看似简单实际复杂的任务需要机器人首先根据环境中的信息来明确自己的位置以及它的周围是什么环境；其次机器人靠自身携带的视觉传感器识别出物体的位置与类别信息，即要找到香蕉。在这个任务中，机器人首先要发现香蕉，并走到香蕉旁边，这个子任务就是目标搜索任务。

当前的研究者们大多在仿真环境中提高机器人对目标搜索的正确率，但是在现实场景中，由于环境的复杂，机器人在导航的过程中往往遇到障碍物的阻挡，仅依靠局部的视觉信息，机器人往往无法避开障碍物。此外当前目标搜索所用的方法大多是采用端到端的深度强化学习进行的，该方法是在不断试错的基础上实现的，但是实际机器人的试错的成本是非常高的，因此迁移到实际的机器人上将带来很大的问题。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于语义地图的目标搜索方法。本发明可使机器人对真实环境具有良好的感知能力，提高目标搜索的效率。

本发明提出一种基于语义地图的目标搜索方法，其特征在于，该方法首先建立各目标物体与父类物体的语义关系图，然后对待进行目标搜索的空间建立导航图并选取采样点，在各采样点上每隔一定的角度采集该视角的RGB图和深度图；执行搜索任务的机器人根据RGB图获得对应视角中物体的语义掩膜，结合该视角的深度图完成该视角局部的三维语义重建；对每个采样点所有视角局部的三维语义重建进行整合，完成待进行目标搜索的空间的三维语义重建，得到对应该空间的语义点云；去除点云中的z维的数据并去噪后，得到待进行目标搜索的空间的语义地图；机器人查询待搜索的目标物体是否为语义地图中三维语义重建的物体并执行相应的搜索策略；搜索完成后，更新未在语义地图中查询到的目标物体与各父类物体的语义关系图。该方法包括以下步骤：

1)建立各目标物体对应的语义关系图；具体方法如下：

首先，选取各父类物体构建父类物体的集合，从视觉基因组数据集的图像标题中提取各目标物体和各父类物体的关系强度来构建该目标物体对应的语义关系图；其中，在该数据集中任一目标物体与任一父类物体在图像标题中同时出现次数与该目标物体在图像标题中出现总次数的比例即为该目标物体与该父类物体的关系强度；

2)利用同步定位与建图SLAM方法对待进行目标搜索的空间建立导航图，然后对该导航图进行栅格化，将栅格上的点作为导航点，从导航点中选取采样点并在采样点上每隔一定的角度采集该视角的图像数据，包括：RGB图和深度图；

3)执行搜索任务的机器人首先使用Mask RCNN分割模型根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜；然后将该视角的深度图像素坐标系转化为世界坐标系，形成点云；将语义掩膜与点云结合形成语义点云，完成该视角局部的三维语义重建，得到该视角中物体各体素在房间中的位置；然后通过多视角的连续性，对每个采样点所有视角局部的三维语义重建进行整合，完成待进行目标搜索的空间的三维语义重建，得到对应该空间的语义点云；