[发明专利]一种三维语义地图构建方法

说明书

本发明属于地图构建技术领域，更具体地，涉及一种三维语义地图构建方法,包括可基于GPU并行处理的配准图像线程、局部地图与全局地图线程、语义地图线程、融合线程、全局线程；同时对场景图像进行位姿求解、语义分割、图像融合及匹配等计算处理，使得SLAM系统实时性更强、地图构建速度更快，同时，在三维图像上融合语义信息，丰富地图的表现形式，以使无人机、机器人等无人移动平台设备可通过更多的维度理解场景地图，进而更加精准地控制运动轨迹，提高无人移动平台的性能。

技术领域

本发明属于地图构建技术领域，更具体地，涉及一种三维语义地图构建方法。

背景技术

SLAM(Simultaneouslocalizationand mapping，同步定位与即时构图)是通过传感器获取场景三维信息的一种技术，其能根据场景信息对自身进行定位以及环境区分。SLAM包括激光SLAM和视觉SLAM，激光SLAM中获取场景数据的传感器为激光雷达，一般用于航天及汽车工业，其精度高但成本也很高，视觉SLAM中通过相机获取场景图像数据，其成本较低，一般用于无人机、机器人自主导航领域。

在无人机、机器人领域，传统的地图不能满足其多样化的应用需求，随着深度传感器的发展，目前在无人机、机器人自主导航领域还广泛应用语义地图。语义地图通常包括空间属性信息，例如建筑物的平面结构，房间分布等，以及包括语义属性信息，如各个房间属性和功能，以及房间内的物体类别和位置信息等。语义地图构建的目标是精确地在地图上标记语义信息。

如中国专利CN111080659A公开了一种基于视觉信息的环境语义感知方法，包括：利用Kinect V1.0相机采集环境图像信息，得到配准后的彩色图及深度图；基于配准后的彩色图及深度图，通过ORB_SLAM2过程，根据每帧中提取的ORB特征点解算相机三维位姿，得到相机位姿信息；对每帧图像进行语义分割，生成语义颜色信息；同步根据输入的深度图和相机的内参矩阵生成点云；将语义颜色信息注册到点云中，得到局部语义点云结果；利用相机位姿信息与局部语义点云结果进行融合，得到新的全局语义点云信息；将融合后的全局语义点云信息用八叉树地图进行表示，得到最终的三维八叉树语义地图。但是在实施过程中发现，因其采用ORB特征提取，地图构建的速度不够快，会严重影响无人机或机器人的反应速度及运动轨迹的控制精度，使用体验不好。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种三维语义地图构建方法，其基于GPU多线程处理，能够提高地图构建速度，实现实时地图构建。

为解决上述技术问题，本发明采用的技术方案是：

提供一种三维语义地图构建方法，包括：

可基于GPU(图形处理器)并行处理的配准图像线程、局部地图与全局地图线程、语义地图线程、融合线程、全局线程；

配准图像线程用于获取场景的彩色图像及深度图像，并对所述彩色图像及深度图像进行预处理，得到配准图像；

局部地图与全局地图线程用于根据配准图像与深度图像求解多帧图像之间的位姿，利用位姿、彩色图像、深度图像进行三维重建得到局部地图与全局地图；语义地图线程用于利用PSP Net(Pyramid Scene Parsing Network，金字塔场景解析网络)对多个配准图像进行语义分割，得到二维语义图像；

融合线程用于将二维语义图像分别与局部地图、全局地图融合，得到局部语义地图、全局语义地图；

全局线程用于对局部语义地图、全局语义地图进行匹配，得到全局一致性稠密语义地图。

本方案中通过基于GPU的多线程，同时对场景图像进行位姿求解、语义分割、图像融合及匹配等计算处理，使得SLAM系统实时性更强、地图构建速度更快，同时，在三维图像上融合语义信息，丰富地图的表现形式，以使无人机、机器人等无人移动平台设备可通过更多的维度理解场景地图，进而更加精准地控制运动轨迹，提高无人移动平台的性能。