[发明专利]具有人物语义信息的三维地图的构建方法以及处理设备

说明书

本申请提供了一种具有人物语义信息的三维地图的构建方法以及处理设备，用于创建具有人物语义信息的三维地图。本申请提供的具有人物语义信息的三维地图的构建方法包括：处理设备获取相机在待重建场景的不同位姿下拍摄待重建场景得到的图像序列；处理设备在图像序列的基础上，通过人物重建线程计算得到待重建场景的人物的三维结构信息以及人物的人物位姿信息；处理设备在图像序列的基础上，通过几何重建线程计算得到述待重建场景的三维环境信息；处理设备将三维结构信息以及人物位姿信息导入三维环境信息中，得到待重建场景对应的三维地图。

技术领域

本申请涉及数据处理领域，尤其涉及一种具有人物语义信息的三维地图的构建方法以及处理设备。

背景技术

在三维地图的应用中，语义三维地图的应用可通过在三维地图中添加丰富的语义信息，比单独使用几何约束可提供更多的功能选项，语义三维地图提供了一个强大的语义信息数据库，该数据库为三维地图进行信息查询，因此在具体的场景应用中，机器人可获知场景中物体的属性，从而可进行响应，例如避免触碰或者交互。

现有技术中，语义三维地图具体通过识别场景中的位置物体，并赋予其语义标签，从而在使用该语义三维地图时，可根据该语义标签识别物体的属性进行对应的响应。

然而在进一步的实际应用中发现，现有的语义三维地图，其对于具有动态变化的物体，则很难建立拓扑一致的几何模型，现阶段只能满足基础的定位以及导航功能，这在一定程度上限制了机器人的智能化应用。

发明内容

本申请提供了一种具有人物语义信息的三维地图的构建方法以及处理设备，用于创建具有人物语义信息的三维地图。

第一方面，本申请提供一种具有人物语义信息的三维地图的构建方法，方法包括：

处理设备获取相机在待重建场景的不同位姿下拍摄待重建场景得到的图像序列；

处理设备在图像序列的基础上，通过人物重建线程计算得到待重建场景的人物的三维结构信息以及人物的人物位姿信息；

处理设备在图像序列的基础上，通过几何重建线程计算得到待重建场景的三维环境信息；

处理设备将三维结构信息以及人物位姿信息导入三维环境信息中，得到待重建场景对应的三维地图。

可选的，处理设备在图像序列的基础上，通过人物重建线程计算得到三维结构信息包括：

处理设备将图像序列导入人物重建线程；

处理设备在人物重建线程中，提取图像序列的关键帧图像；

处理设备通过Mask R-CNN分割模型分割关键帧图像，得到人物的人物语义标签；

处理设备在人物语义标签的轮廓信息的基础上，生成三维结构信息。

可选的，处理设备在图像序列的基础上，通过人物重建线程计算得到人物位姿信息包括：

处理设备将几何重建线程在计算中得到的图像稀疏点云信息导入人物重建线程；

处理设备在人物重建线程中，根据图像稀疏点云信息以及人物语义标签的位置信息，计算得到人物位姿信息，人物的人物位姿信息包括人物的中心点三维坐标。

可选的，处理设备将三维结构信息以及人物位姿信息导入三维环境信息中，得到待重建场景对应的三维地图包括：

处理设备将三维结构信息以及人物位姿信息进行融合，得到人物的三维信息；

处理设备将三维信息导入三维环境信息中，并根据时间戳进行信息同步以及将三维信息的点云覆盖三维环境信息中相同位置的点云，得到三维地图。

可选的，处理设备在图像序列的基础上，通过几何重建线程计算得到待重建场景的三维环境信息包括：