[发明专利]一种基于广角相机大畸变图的初始化建图方法及系统

说明书

本发明涉及一种基于广角相机大畸变图的初始化建图方法及系统，该方法包括以下步骤：步骤S1、通过对入射光线的追踪，确定特定相机模型；步骤S2、提取畸变图视觉特征点，进行数据关联，生成入射光线匹配对；步骤S3、根据入射光线匹配对应的几何关系对畸变图地图初始化：步骤S4、通过误差比较，对几何模型进行选择；步骤S5、递归尺度恢复。该方法提出了一种通用相机入射光线追踪方案，使任意的相机参数模型都可以转换到本发明提出的特定相机模型，并通过此特定相机模型追踪对应像素点的入射光线的方向，完成视觉地图的初始化。

技术领域

本发明涉及相机建模技术、计算机视觉定位技术以及视觉三维重建技术，具体的说是一种基于广角相机大畸变图的初始化建图方法及系统，特别涉及一种基于大畸变广角相机实现对机器人或自动驾驶汽车初始化建图的方法。该方法可用于自动驾驶、全自动机器人、无人机、虚拟现实、增强现实等领域。

背景技术

视觉初始化建图主要应用在同步定位建图(SLAM)或三维重建(SFM)技术中，初始化建图的精确性直接影响同步定位建图和三维建图的效果。

中国专利CN110458885A和CN110411457A是将轮式编码器的脉冲测量到的载体的位姿变化作为优化方程的约束之一，添加到最小二乘优化方程中来恢复尺度，同时将重投影误差作为目标函数的因变量，最终得到最优的恢复尺度后的位姿。

美国专利US10444761在系统初始化时，使用两帧图像之间测量到的轮式编码器的脉冲的积分，或者IMU的加速度和角速度的积分，得到两帧图像之间的绝对位姿变化，同时通过两帧图像之间的视觉几何关系，计算得到没有尺度信息的相对位姿变化，通过两种传感器计算得到的位移的比值恢复视觉地图的尺度，该系统初始化仅考虑了初始两帧的绝对尺度，同时使用的位姿误差测量方式为重投影误差。另外，以上专利都仅仅支持针孔相机模型。

与普通的针孔相机相比，鱼眼相机或全景相机往往视角大，同一时刻获取的周围场景信息更加丰富，观察到的场景更加稳定；但同时存在更加复杂的相机模型，即光线在成像的过程中经历更加复杂的物理过程。通常使用的针孔相机下的多视角几何理论与优化理论，在大畸变广角镜头生成的图片上进行视觉的定位与场景的三维重建不再适用。并且单个相机构建视觉地图具有尺度不确定性，不能用于实际载体的控制与障碍物测量。因此，解决大畸变相机下的观测模型在通常所使用的基于针孔相机的多视角几何理论与优化理论在广角大畸变图的适用性问题，以及恢复单个广角相机构建的视觉地图的绝对尺度是十分关键的。

发明内容

本发明的目的是提出一种基于广角相机大畸变图的初始化建图方法，该方法提出了一种通用相机入射光线追踪方案，使任意的相机参数模型都可以转换到本发明提出的特定相机模型，并通过此特定相机模型追踪对应像素点的入射光线的方向，完成视觉地图的初始化。

为实现上述目的，本发明采用如下技术方案：

步骤S1、通过对入射光线的追踪，确定特定相机模型：遍历图像上所有像素点，将每个像素点通过预先标定的相机模型反投影为对应的入射光线向量，再通过初始的特定相机模型将同样的像素点反投影为对应的入射光线向量；构建预先标定的相机模型反投影得到的入射光线向量与初始的特定相机模型反投影得到的入射光线向量之间的最小二乘误差项，将图像上所有的像素点产生的误差项进行相加，迭代调整特定相机模型，使误差项之和最小，从而确定最终的特定相机模型；

步骤S2、提取畸变图视觉特征点，进行数据关联，以生成入射光线匹配对：在畸变图上提取视觉特征点，通过计算特征点对应的图像块的描述子的距离，来判断是否是有效匹配点对；之后将步骤S1中得到的特定相机模型应用于各个匹配点对，将视觉特征点转换为其对应的入射光线的方向向量，从而生成入射光线匹配对；