[发明专利]一种基于语义分割的动态环境双目视觉SLAM方法

权利要求书

1.一种基于语义分割的动态环境双目视觉SLAM方法，其特征在于，包括如下步骤：

获取物体的语义掩膜，所述语义掩膜通过深度学习网络生成；

采用双目相机获取多帧连续的双目图像；

提取每帧所述双目图像上的特征点，匹配相邻帧双目图像上的特征点；

剔除位于所述语义掩膜上的特征点，并根据剩余的特征点计算相机位姿；

基于所述相机位姿分离所述双目图像上的动态物体和静态物体；

基于分离后的动态物体估计动态物体的运动参数；

基于分离后的静态物体重新计算相机位姿；

基于更新后的相机位姿以及位于所述静态物体上的特征点构建静态地图。

2.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，用于生成所述语义掩膜的深度学习网络为Mask R-CNN模型。

3.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，所述提取每帧所述双目图像上的特征点，匹配相邻帧双目图像上的特征点的方法包括：

采用ORB方法提取所述特征点；

获取每个特征点分别在各帧双目图像上的描述子，计算一个特征点在位于相邻两帧双目图像上的两个描述子之间的汉明距离，汉明距离最小的两个特征点组成一组匹配的特征点。

4.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，判断所述特征点是否位于所述语义掩膜上的方法包括：所述语义掩膜至少包括物体的边框，所述特征点的坐标位于所述边框范围内，则该特征点位于该语义掩膜上。

5.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，所述根据剩余的特征点计算相机位姿的方法包括：采用PnP算法求解所述相机位姿。

6.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，所述基于所述相机位姿分离所述双目图像上的动态物体和静态物体；基于分离后的动态物体估计动态物体的运动参数的方法包括：

分离动态物体：基于所述相机位姿，和相邻帧双目图像与所述语义掩膜的位置关系，计算该语义掩膜对应的物体的运动概率，若所述运动概率大于第一阈值，则判断该语义掩膜对应的物体为动态物体；

动态物体匹配：针对所述动态物体，计算该动态物体对应的语义掩膜在相邻帧双目图像的hu矩、中心点欧氏距离以及直方图分布，基于所述hu矩、中心点欧氏距离和直方图分布计算相邻帧双目图像中所述动态物体匹配的概率，若概率大于第二阈值，则相邻帧双目图像中的两个动态物体为同一物体；以及

动态物体运动估计：通过所述动态物体匹配完成连续帧之间动态物体的关联，通过PnP算法估计所述动态物体的运动参数。

7.如权利要求6所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，所述分离动态物体的步骤包括：

基于所述相机位姿，计算上一帧的语义掩膜在当前帧对应的位置；

利用视差图计算投影以后所述语义掩膜上所有特征点的三维坐标，所述视差图通过所述双目图像计算所得；

计算上一帧与当前帧对应特征点在x，y，z三个方向上的误差，其中误差的最大值作为该特征点的误差值；

将所述误差值转换为与该特征点所在的语义掩膜对应的物体的运动概率，基于所述运动概率判断与该语义掩膜对应的物体是否为动态物体。

8.如权利要求1所述的基于语义分割的动态环境双目视觉SLAM方法，其特征在于，所述基于分离后的静态物体重新计算相机位姿的方法包括：剔除位于所述动态物体对应的语义掩膜上的特征点，根据剩余的特征点，采用PnP算法更新所述相机位姿。