[发明专利]一种基于语义地图的目标搜索方法

权利要求书

1.一种基于语义地图的目标搜索方法，其特征在于，该方法首先建立各目标物体与父类物体的语义关系图，然后对待进行目标搜索的空间建立导航图并选取采样点，在各采样点上每隔一定的角度采集该视角的RGB图和深度图；执行搜索任务的机器人根据RGB图获得对应视角中物体的语义掩膜，结合该视角的深度图完成该视角局部的三维语义重建；对每个采样点所有视角局部的三维语义重建进行整合，完成待进行目标搜索的空间的三维语义重建，得到对应该空间的语义点云；去除点云中的z维的数据并去噪后，得到待进行目标搜索的空间的语义地图；机器人查询待搜索的目标物体是否为语义地图中三维语义重建的物体并执行相应的搜索策略；搜索完成后，更新未在语义地图中查询到的目标物体与各父类物体的语义关系图。

2.如权利要求1所述的方法，其特征在于，该方法包括以下步骤：

1)建立各目标物体对应的语义关系图；具体方法如下：

首先，选取各父类物体构建父类物体的集合，从视觉基因组数据集的图像标题中提取各目标物体和各父类物体的关系强度来构建该目标物体对应的语义关系图；其中，在该数据集中任一目标物体与任一父类物体在图像标题中同时出现次数与该目标物体在图像标题中出现总次数的比例即为该目标物体与该父类物体的关系强度；

2)利用同步定位与建图SLAM方法对待进行目标搜索的空间建立导航图，然后对该导航图进行栅格化，将栅格上的点作为导航点，从导航点中选取采样点并在采样点上每隔一定的角度采集该视角的图像数据，包括：RGB图和深度图；

3)执行搜索任务的机器人首先使用Mask RCNN分割模型根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜；然后将该视角的深度图像素坐标系转化为世界坐标系，形成点云；将语义掩膜与点云结合形成语义点云，完成该视角局部的三维语义重建，得到该视角中物体各体素在房间中的位置；然后通过多视角的连续性，对每个采样点所有视角局部的三维语义重建进行整合，完成待进行目标搜索的空间的三维语义重建，得到对应该空间的语义点云；

4)对步骤3)得到的空间的语义点云，每个点包含四种维度的信息x,y,z,c，其中x,y,z分别为每个点的坐标，c是对应的语义类别；去除每个点z维的数据，得到该待进行目标搜索的空间的自上而下的初始语义地图；对初始语义地图进行去噪，得到该待进行目标搜索的空间最终的的语义地图；

5)对机器人布置待搜索的目标物体，机器人在步骤4)得到的语义地图中查询该目标物体是否为已知物体，其中若该物体是语义地图中三维语义重建的物体，则该物体为已知物体，否则为未知物体；

若该目标物体是已知物体，则执行步骤6)；若该目标物体是未知物体，则执行步骤7)；

6)利用语义地图进行已知的目标物体的搜索，具体步骤如下：

6-1)机器人在语义地图中查询距离该目标物体最近的导航点以及在该导航点观察到物体的角度，机器人到达查询到的导航点，并在该导航点按照计算查询的角度朝向该目标物体；

6-2)机器人靠近该目标物体，直至与目标物体之间的距离小于设定的距离阈值，搜索任务完成；

7)利用语义地图进行未知的目标物体的搜索，具体步骤如下：

7-1)机器人通过该目标物体对应的语义关系图查询与该物体关系强度最大的父类物体并作为选中的父类物体；

7-2)机器人在语义地图中查询距离该选中的父类物体最近的导航点，然后到达该查询得到的导航点；

7-3)机器人在该导航点旋转一周，寻找该目标物体；

如果在旋转中检测到该目标物体，则机器人在该导航点朝向目标物体，然后进入步骤7-4)；

如果在旋转中未检测到该目标物体，则机器人排除所有选中过的父类物体，并通过该目标物体对应的语义关系图查询在剩余的父类物体中与该物体关系强度最大的父类物体并作为新的选中的父类物体，然后重新返回步骤7-2)；

如果在所有父类物体对应的导航点旋转一周后均未找到该目标物体，则搜索任务失败，然后进入步骤8)；

7-4)机器人靠近目标物体，直至与目标物体之间的距离小于设定的距离阈值，搜索任务完成，然后进入步骤8)；

8)根据搜索任务的结果更新目标物体的语义关系图；更新策略如下：

其中，R'_p为更新后目标物体与父类物体p的关系强度，R_p为更新前目标物体与父类物体p的关系强度；S_p是一个二进制数，表示是否在该父类物体p找到目标物体；S是一个二进制数，表示在所有的父类物体中是否能找到目标物体。