[发明专利]一种基于多帧的单目SLAM鲁棒初始化方法

说明书

本发明公开了一种基于多帧的单目SLAM鲁棒初始化方法，包括步骤：提取初始视频流中图像帧的特征点进行相互匹配，并筛选出匹配点，获取初始匹配点对；根据初始匹配点对筛选出三视图对，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图；根据双视几何原理，求解各图像帧之间的相对旋转；根据各图像帧之间的相对旋转，求解全局旋转；基于全局旋转，求解全局位移；综合全局旋转和全局位移，获得各帧的初始位姿，并根据初始位姿进行非线性优化调整；计算特征点景深，恢复特征点三维坐标；该方法能够提高收敛速度、减少“散点”出现，从而提高初始地图的精度。

技术领域

本发明属于单目SLAM初始化技术领域，尤其涉及一种基于多帧的单目SLAM鲁棒初始化方法。

背景技术

同步定位与建图技术(simultaneous localization and mapping，SLAM)的目标是在估计摄像机的运动轨迹的同时重建未知环境。该技术目前已广泛应用于增强现实和自动驾驶等领域，能够在不依赖于外部基础设施的背景下实时运行。

初始化是单目SLAM技术的关键，通过初始化能够获得摄像机的初始姿态并且生成初始地图，为后续的跟踪阶段提供支撑。

目前学界主要利用类似于增量式运动恢复结构技术(Structure From Motion，SFM)来进行单目SLAM系统的初始化，主要利用两帧之间的极线几何约束或者平面结构约束，构建基础矩阵或单应矩阵，通过分解基础矩阵或单应矩阵来获取摄像机的初始姿态，并利用三角测量技术获取初始地图。这类技术对摄像机的初始姿态和特征点的匹配要求较高，初始化的过程依赖于摄像机的初始运动，无法较快地收敛。在初始化的后期，将进行集束调整 (Bundle Adjustment，BA)，用以进一步优化初始姿态和初始地图，但优化后仍存在“散点”，这些“散点”与其最近邻三维特征点的距离远超普通三维特征点之间的平均距离，在跟踪过程中将造成误差，尤其是在图像观测质量差的情况下，将影响后续的姿态追踪。

发明内容

本发明的目的在于克服上述现有技术中无法快速收敛、以及存在“散点”的不足，提供了一种能够提高收敛速度、减少“散点”出现，从而提高初始地图的精度的SLAM初始化方法，具体为一种基于多帧的单目SLAM鲁棒初始化方法。

本发明提供了一种基于多帧的单目SLAM鲁棒初始化方法，该方法包括步骤：

S1：提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，筛选出匹配点，获取初始匹配点对，匹配点为匹配的特征点；

S2：根据初始匹配点对筛选出三视图对，即拥有足够多共视特征点的三个图像帧，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图，即描述各图像帧之间的共视关系的拓扑图；

S3：根据双视几何原理，求解各图像帧之间的相对旋转；

S4：根据各图像帧之间的相对旋转，采用迭代加权最小二乘法求解全局旋转；

S5：基于各图像帧的全局旋转以及场景结构同全局位移之间的线性约束关系求解全局位移；

S6：综合全局旋转和全局位移，获得各帧的初始位姿，以此为基础，利用仅位姿非线性优化调整策略，优化各帧的位姿；

S7：计算特征点景深，恢复特征点三维坐标。

优选的，S1中，提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，通过随机抽样一致算法筛选匹配点，获取初始匹配点对，匹配点为匹配的特征点。

优选的，筛选出三视图对中的匹配点的具体步骤为：

S2.1：设置最小样本数为n的样本集P，从样本集P中抽取包含n个样本形成样本子集 S，利用视图间的本质矩阵计算初始三焦张量作为初始化模型M；