[发明专利]融合中期语义信息的视觉里程计方法

权利要求书

1.一种融合中期语义信息的视觉里程计方法，其特征在于，包括以下步骤：

S1.跟踪线程接收双目相机的双目图像流，并将单目图像传递给语义分割进程，语义分割进程对单目图像进行语义分割，并将语义分割图传递给跟踪线程；

S2.跟踪线程根据语义分割图构造当前帧并生成初始地图对双目相机位姿进行跟踪，将局部地图点与当前帧的特征点进行匹配，优化当前帧的位姿并确定关键帧，将关键帧信息及语义分割图传输至局部建图线程；

S3.局部建图线程根据关键帧的特征点更新地图点，并构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿；

S4.局部建图线程利用优化的位姿将地图点反向投影到语义分割图，更新语义地图点的语义信息，并根据语义地图点的质量信息管理语义地图点。

2.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S1中，语义分割进程采用轻量级神经网络ERFNet对单目图像进行语义分割，提取语义特征并将语义分割图传递给跟踪线程。

3.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S2中，跟踪线程在图像金字塔中提取ORB特征点，通过三角化初始化地图点，通过帧间的特征点匹配计算初始相机位姿，将局部地图点与当前帧中的特征点进行匹配，建立合适的数据关联，并运用最小化重投影误差优化当前帧位姿，根据当前帧的观测质量及系统的状态选择是否建立关键帧，若建立关键帧则将关键帧传递给局部建图线程。

4.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S3中，构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿，具体为：

S31.将当前关键帧之前设定数量的关键帧作为管理地图点语义信息的滑窗容器，选取最开始的数帧作为中期滑窗，滑窗随时间不断更新；

S32.将中期滑窗中ORB特征点三角化得到语义地图点；

S33.将语义地图点语义类别设计为多权重模式；

S34.将选取的语义地图点与当前关键帧建立语义观测，计算语义观测误差；

S35.将与当前关键帧有共视地图点的图像帧定义为局部关键帧，由局部关键帧中ORB特征点三角化得到局部地图点；

S36.根据局部地图点与当前关键帧，计算重投影误差；

S37.将语义观测误差和重投影误差加入到局部BA优化的图优化模型中，优化关键帧的位姿及地图点。