[发明专利]一种单目视觉里程计方法、装置、系统及存储介质

说明书

本发明提供一种单目视觉里程计方法、装置、系统及存储介质，该方法包括：步骤一、对摄像头采集的单帧图像进行特征点提取，得到图像的特征点和描述子；步骤二、将相邻帧图像的特征点进行特征匹配，得到特征匹配的最优得分矩阵；步骤三、对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。本发明能够融合深度学习的特征点提取和匹配算法，并对匹配结果进行优化，解决了视觉里程计在光照变化场景下误差较大的问题，提高了单目视觉里程计的精度和鲁棒性。

技术领域

本发明涉及机器人同步定位与地图构建领域，具体是一种单目视觉里程计方法、装置、系统及存储介质。

背景技术

移动机器人是一种具有自主能力，能够执行特定任务的无人系统，移动机器人无论是在军事还是民用中都发挥着重要的作用。移动机器人可以部署在高危险环境或受核、生物或化学制剂污染的区域，它们可靠、快速、机动性强，可以执行各种任务，包括监控、巡逻、搜救等任务。

传统地形勘探的方式存在很多难点：①环境复杂、工况恶劣：战场上局势瞬息万变，十分危险；②危险地形，难以作业：部分地形作业风险高，地形勘探活动难以开展；③耗财耗时，效率低下：勘探方法古老，需要耗费大量的人力财力。针对以上问题，移动机器人就具有很多技术优势：①自主导航，可以抵达危险区域，人员无需涉险；②勘探方法简单便捷；③定位精度高，跑线精确。所以，移动机器人能够承担地形勘探、巡逻等任务，并且能够减少大量的人力、物力。

同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）作为移动机器人执行定位、导航等任务的核心技术，使得移动机器人能够在未知环境中自由活动。SLAM是指在未知环境中利用传感器对移动机器人周围环境中所处的位置与姿态进行状态感知与估计，并对所处环境进行地图构建。视觉里程计作为视觉SLAM的前端，是指从一系列图像流中估计相机的运动位姿。传统的视觉里程计算法包括相机矫正、特征检测、特征匹配、运动估计等，能够在大部分情况下取得很好的效果，但是在光照变化大的场景下会出现定位失败的现象。

发明内容

本发明提供一种单目视觉里程计方法、装置、系统及存储介质，能够融合深度学习的特征点提取和匹配算法，并对匹配结果进行优化，解决了视觉里程计在光照变化场景下误差较大的问题，提高了单目视觉里程计的精度和鲁棒性，能够适应复杂的场景。

一种单目视觉里程计方法，包括如下步骤：

步骤一、对摄像头采集的单帧图像进行特征点提取：利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；

步骤二、将相邻帧图像的特征点进行特征匹配：利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；

步骤三、根据匹配结果进行相机位姿估计与优化：对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。

进一步的，所述步骤一具体为：

深度卷积神经网络SuperPoint的模型结构包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器用于对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过深度卷积神经网络SuperPoint处理后，即得到图像的特征点和特征描述子。

进一步的，所述步骤二具体为：

注意力机制GNN将输入的图像的特征点和特征描述子编码为一个特征匹配向量f，再利用自我注意力机制和交叉注意力机制增强向量f的特征匹配性能，然后将向量f转化成匹配向量并输出到最优匹配层，计算特征匹配向量的内积得到匹配度得分矩阵，最后通过Sinkhorm算法多次迭代求解出最优特征分配矩阵。

进一步的，所述步骤三具体包括：