[发明专利]一种单目视觉里程计方法、装置、系统及存储介质

权利要求书

1.一种单目视觉里程计方法，其特征在于：包括如下步骤：

步骤一、对摄像头采集的单帧图像进行特征点提取：利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；

步骤二、将相邻帧图像的特征点进行特征匹配：利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；

步骤三、根据匹配结果进行相机位姿估计与优化：对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。

2.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤一具体为：

深度卷积神经网络SuperPoint的模型结构包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器用于对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过深度卷积神经网络SuperPoint处理后，即得到图像的特征点和特征描述子。

3.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤二具体为：

注意力机制GNN将输入的图像的特征点和特征描述子编码为一个特征匹配向量f，再利用自我注意力机制和交叉注意力机制增强向量f的特征匹配性能，然后将向量f转化成匹配向量并输出到最优匹配层，计算特征匹配向量的内积得到匹配度得分矩阵，最后通过Sinkhorm算法多次迭代求解出最优特征分配矩阵。

4.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤三具体包括：

步骤3.1：根据最小阈值法对错误图像特征点匹配对滤除，对图像中的特征点对进行距离测试，选取距离最近特征点对作为最小距离，对特征点匹配对的距离采用以下式子判断，当满足上述条件时，判定为正确匹配，否则剔除该匹配对：

；

其中，表示第i个匹配对，为设定的阈值，表示匹配集中最小匹配距离；

步骤3.2：采用RANSAC优化算法进一步对错误图像特征点匹配对滤除，从最小阈值法优化后的匹配集M中随机挑选N+1对匹配对，N对匹配对计算相对变换矩阵得到模型Q，剩余1对匹配验证模型Q的准确性，重复上述步骤得到内点数最多的匹配结果；

步骤3.3：相机位姿估计：对于优化后的结果，根据对极几何约束来求解单应矩阵H和基础矩阵F，估计相机位姿。

5.一种单目视觉里程计装置，其特征在于：包括：

特征点提取模块，用于对摄像头采集的单帧图像进行特征点提取，具体的，利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；

特征点匹配模块，用于将相邻帧图像的特征点进行特征匹配，具体的，利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；

位姿估计与优化模块，用于根据匹配结果进行相机位姿估计与优化，具体的，对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。

6.如权利要求5所述的单目视觉里程计装置，其特征在于：所述特征点提取模块利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子，具体包括：

所述特征点提取模块包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过所述特征点提取模块处理后，即得到图像的特征点和特征描述子。