[发明专利]基于环境理解的语义ORB-SLAM感知方法及装置

权利要求书

1.一种基于环境理解的语义ORB-SLAM感知方法，其特征在于，所述方法包括：

将序列帧输入ORB-SLAM前端Tracking线程中进行关键帧提取处理，获取关键帧数据；

将所述关键帧数据输入相邻关键帧图优化线程进行关键帧数据优化处理，获取图优化后的关键帧数据；

计算所述图优化后的关键帧数据之间的误差值，基于所述误差值生成候选集；

基于全局地图优化和回环融合对所述候选集进行闭环纠正处理，并基于纠正结果进行同步定位与地图构建；

所述将序列帧输入ORB-SLAM前端Tracking线程中进行关键帧提取处理，获取关键帧数据，包括：

ORB-SLAM前端Tracking线程采用帧间差分法对输入的序列帧进行动态背景去除处理，获取去除动态背景的序列帧；

将所述去除动态背景的序列帧与物体特征点之间建立映射关系，获取与物体特征点映射关系的序列帧；

对与物体特征点映射关系的序列帧进行ORB特征提取处理，获取序列帧ORB特征；

将当前帧的序列帧ORB特征与上一帧的序列帧ORB特征进行匹配，获得匹配特征点对；

基于所述匹配特征点对进行位姿估计和重定位处理，获取位姿估计和重定位结果；

根据相匹配的邻近序列帧进行位姿估计和重定位结果进行优化处理，获得相邻帧的位姿优化，基于所述相邻帧的位姿优化获取关键帧序列；

所述ORB-SLAM前端Tracking线程采用帧间差分法对输入的序列帧进行动态背景去除处理，获取去除动态背景的序列帧，包括：

在所述序列帧中连续时间间隔内的相邻帧做差分运算，并利用所述序列帧中相邻帧的强相关性做变化检测，获得运动目标；

基于选取阈值剔除序列帧中的运动目标的动态背景，获取去除动态背景的序列帧；

在序列帧中，第k帧和k+1帧之间的变化用二值化差分值表示，如下：

；

其中，T为设定的二值差分阈值；二值差分中“1”的部分由前后两帧对应像素灰度值发生变化的部分组成，通常包含运动目标和噪声；为“0”的部分由前后两帧对应像素灰度值不发生变化的部分组成。

2.根据权利要求1所述的语义ORB-SLAM感知方法，其特征在于，所述将所述去除动态背景的序列帧与物体特征点之间建立映射关系，获取与物体特征点映射关系的序列帧，包括：

根据当前帧的去除动态背景的序列帧观察到的图点，并基于所述图点观察下一帧的去除动态背景的序列帧，作为当前帧的去除动态背景的序列帧的相邻序列帧；

以当前帧的去除动态背景的序列帧作为根节点，以相邻序列帧作为子节点生成节点树；

基于所述节点树构建所述去除动态背景的序列帧与物体特征点之间的映射关系，获取与物体特征点映射关系的序列帧。

3.根据权利要求1所述的语义ORB-SLAM感知方法，其特征在于，所述基于所述匹配特征点对进行位姿估计和重定位处理，包括：

根据所述匹配特征点对利用最小化重投影误差计算当前帧的序列帧与上一帧的序列帧的相对位移。

4.根据权利要求1所述的语义ORB-SLAM感知方法，其特征在于，所述方法还包括：

当基于所述匹配特征点对进行位姿估计和重定位处理失败之后，基于与物体特征点映射关系获得当前帧的序列帧之间最相近的序列帧；

获得最相近的序列帧ORB特征，利用将当前帧的序列帧ORB特征与最相近的序列帧ORB特征进行匹配，获得第一匹配特征点对；

利用第一匹配特征点对重新进行位姿估计和重定位计算，获得位姿估计和重定位结果。

5.根据权利要求1所述的语义ORB-SLAM感知方法，其特征在于，所述基于所述相邻帧的位姿优化获取关键帧序列，包括：

计算所述相邻帧之间的最小重投影误差，并基于最小重投影误差建立共视图；

提取所述共视图内的序列帧为关键序列帧。