[发明专利]一种融合场景语义的室外单目同步建图与定位方法

权利要求书

1.一种融合场景语义的室外单目同步建图与定位方法，其特征在于：方法如下：

(1)获取训练数据集，构建并训练实时语义分割网络，将训练后的实时语义分割网络接收单目相机捕获的图像输出语义分割结果图，通过语义分割结果图获得各个像素的语义类别标签；

(2)实时通过SLAM前端模块中的视觉里程计接收单目相机捕获的图像，获取图像的特征点和描述子，并根据语义分割结果图获取特征点的语义类别标签，由特征点和语义类别标签组建语义特征点，由所有语义特征点构成了语义特征点集；

(3)实时利用语义特征点建立语义地图，通过语义特征点和语义地图中的语义地图点的匹配更新语义地图点的语义类别标签统计信息；

(4)在SLAM后端模块接收不同时刻视觉里程计测量的单目相机的位姿，在利用单目相机的位姿和语义地图点在世界坐标系下的三维位置坐标构建最小二乘优化重投影误差时，加入语义权重进行优化，实现室外单目同步建图与定位；

所述步骤(4)中：

4.1、将每个语义地图点p_i从世界坐标系下的三维位置坐标投影成像素坐标u_pi：

其中，ξ为相机位姿，包括平移和旋转，p_wi为第i个语义地图点p_i在世界坐标系下的三维位置坐标，K为单目相机的内参矩阵，s_i是第i个语义地图点p_i的深度，exp()为指数映射，^符号表示将向量变成反对称矩阵的操作；

4.2、根据语义地图点p_i的像素坐标u_pi和语义特征点的坐标获得语义特征点和匹配的语义地图点之间的重投影误差，在重投影误差基础上加上语义权重w_i，最小二乘问题构建以下优化函数：

其中，ξ^*为估计的相机位姿；w_i表示第i个语义地图点p_i的语义类别标签的语义权重，n表示语义地图点的总数，通过语义类别标签统计信息取最大次数的语义类别标签，将最大次数的语义类别标签对应的语义权重w_i代入上述公式；

4.3、求解上述优化函数获得第i个语义地图点p_i在世界坐标系下的三维位置坐标P_wi和相机位姿ξ。

2.根据权利要求1所述的一种融合场景语义的室外单目同步建图与定位方法，其特征在于：

所述的实时语义分割网络包括空间信息路径和上下文信息路径和特征融合模块；空间信息路径和上下文信息路径分别接收输入图像处理后输出到特征融合模块进行融合，特征融合模块的输出作为实时语义分割网络的输出；

所述的空间信息路径包含了三个连续的卷积归一化模块，每个卷积归一化模块是主要由卷积层、批归一化层、激活函数依次连接而成，最后一个卷积归一化模块的输出输入到特征融合模块；

所述的上下文信息路径包含四个下采样层和两个注意力优化模块，四个下采样层依次连接，第三个下采样层和第四个下采样层的输出分别经各自的一个注意力优化模块处理后再与第四个下采样层的输出连接后输入到特征融合模块；所述的注意力优化模块包含了第一全局池化层、第一卷积层、第一批归一化层和第一激活函数；第一全局池化层的输入作为注意力优化模块的输入，第一全局池化层依次经第一卷积层、第一批归一化层和第一激活函数连接，第一激活函数的输出和注意力优化模块的输入经相乘操作后输出并作为注意力优化模块的输出；

所述的特征融合模块包含了连接层、卷积归一化模块、第二全局池化层、第二卷积层、第二激活函数、第三卷积层和第三激活函数；连接层接收分别来自空间信息路径和上下文信息路径的两个输入后进行连接操作，连接层的输出连接到卷积归一化模块，卷积归一化模块的输出依次经第二全局池化层、第二卷积层、第二激活函数、第三卷积层后输入到第三激活函数，第三激活函数的输出和卷积归一化模块的输出经相乘操作后再与卷积归一化模块的输出进行相加操作，相加操作的结果作为特征融合模块的输出。