[发明专利]基于环境理解的语义ORB-SLAM感知方法及装置

说明书

本发明公开了一种基于环境理解的语义ORB‑SLAM感知方法及装置，其中，所述方法包括：将序列帧输入ORB‑SLAM前端Tracking线程中进行关键帧提取处理，获取关键帧数据；将所述关键帧数据输入相邻关键帧图优化线程进行关键帧数据优化处理，获取图优化后的关键帧数据；计算所述图优化后的关键帧数据之间的误差值，基于所述误差值生成候选集；基于全局地图优化和回环融合对所述候选集进行闭环纠正处理，并基于纠正结果进行同步定位与地图构建。在本发明实施例中，提高机器人对环境感知具有显著效果，同时可使机器得到对场景的更高层认知信息，为包括机器人导航、增强现实和自动驾驶在内的应用邻域提供更加自然的应用方式。

技术领域

本发明涉及智能机器人感知技术领域，尤其涉及一种基于环境理解的语义ORB-SLAM感知方法及装置。

背景技术

同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)是移动机器人实现未知环境中自主导航的基础，也是其实现自主化和智能化的前提条件之一；当前，视觉SLAM已经可以在一定范围内的静态环境下做到实时定位和三维地图的构建，然而，传统视觉SLAM生成的地图仅仅包含简单的几何信息(点、线等)或低层次的像素级别信息(颜色、亮度等)，而不包含语义信息。虽然这些简单的几何信息和像素级别信息可以满足机器人在某种单一环境下进行自主导航，但不能满足移动机器人完成更高级别的任务需求。

专利CN201811514700公布了一种基于ORB特征的视觉SLAM方法，该方法在前端环节仅采用基于ORB特征替代传统SIFT特征提取，利用汉明距离进行特征匹配判断，在一定程度上可以减少计算量，提高了视觉SLAM的实时性；在后端模块，采用图优化思想，基于局部回环和全局回环相结合的点云融合优化思想，能够很好提高回环检测的精确性。

但是基于ORB特征的视觉SLAM方法，虽然用ORB特征替代传统SIFT特征提取，有效提高计算速度，但其还只能在一个静态或者在一个拥有少量动态物体的场景下工作，如果有大量的特征点落在动态物体上，SLAM跟踪定位的结果会随着动态物体的移动而发生偏移，极大影响机器人建图与定位精确性，甚至会出现计算位姿失败；基于ORB特征的视觉SLAM方法特征点的生成过程会丢弃原始图片中大部分像素信息，并缺少有效的语义信息，严重影响机器人对环境感知的进一步理解。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于环境理解的语义ORB-SLAM感知方法及装置，提高机器人对环境感知具有显著效果，同时可使机器得到对场景的更高层认知信息，为包括机器人导航、增强现实和自动驾驶在内的应用领域提供更加自然的应用方式。

为了解决上述技术问题，本发明实施例提供了一种基于环境理解的语义ORB-SLAM感知方法，所述方法包括：

将序列帧输入ORB-SLAM前端Tracking线程中进行关键帧提取处理，获取关键帧数据；

将所述关键帧数据输入相邻关键帧图优化线程进行关键帧数据优化处理，获取图优化后的关键帧数据；

计算所述图优化后的关键帧数据之间的误差值，基于所述误差值生成候选集；

基于全局地图优化和回环融合对所述候选集进行闭环纠正处理，并基于纠正结果进行同步定位与地图构建。

可选的，所述将序列帧输入ORB-SLAM前端Tracking线程中进行关键帧提取处理，获取关键帧数据，包括：

ORB-SLAM前端Tracking线程采用帧间差分法对输入的序列帧进行动态背景去除处理，获取去除动态背景的序列帧；

将所述去除动态背景的序列帧与物体特征点之间建立映射关系，获取与物体特征点映射关系的序列帧；

对与物体特征点映射关系的序列帧进行ORB特征提取处理，获取序列帧ORB特征；