[发明专利]一种SFM稀疏重建方法、系统及应用

说明书

本发明属于计算机视觉与多视角几何技术领域，公开了一种SFM稀疏重建方法、系统及应用，所述SFM稀疏重建方法包括：获取相机内参；提取点线特征并获得初始匹配；选择特征邻域，构建特征三元组；在邻域内应用几何位置不变量进行误匹配剔除，得到精确的特征匹配对应关系；在线特征邻域平面内利用交比原理，得到线特征上对应的点，使用点来表示线；对相机对进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；3D评分滤除后，聚类生成线结构重建结果。本发明对点线特征的使用具有普适性，能够较快地完成误匹配剔除提高匹配精度。

技术领域

本发明属于计算机视觉与多视角几何技术领域，尤其涉及一种SFM稀疏重建方法、系统及应用。

背景技术

目前，三维模型的建立具有多种方式，根据深度测量方式主要可以分为主动式与被动式两大类。主动式重建通过主动控制发射光源，根据接收的光波获取深度信息，常用的有结构光法、三角测距法、飞行时间法、莫尔条纹法，应用该类技术，已有kinect等深度相机、以及激光雷达扫描等产品的应用。主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。

被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。被动式重建主要有三种：(1)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息；(2)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少；(3)多视角立体视觉法MVS通过构建多视图间几何对应关系估计深度图，获取点云后，在此方法中常用的有单目多视图法与双目视觉两种。双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差；而单目多视图法通过移动的相机对物体多角度拍摄，数据来源广泛、成本较低、应用更加广泛。

单目多视角重建中点云主要通过运动恢复结构(Structure from Motion，SfM)获取，可以处理无序图像集，以模型构建为主定位为辅，可以离线处理，构建高精度模型。在SFM算法中，特征匹配由于计算量小、鲁棒性好、对图像形变不敏感等优点，相较基于灰度、基于频域的匹配算法而言能够得到更为鲁棒的匹配结果。近些年来，点特征的研究与应用得到了长足的发展，出现了各种成熟的SFM系统，相较而言，对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。但是线段作为比点更高级别的特征，也可同样表示为多点特征构成，在人造场景中广泛存在，能够在等量计算代价下提取更多的有效信息、更直观地表现物体的结构，尤其在低纹理环境下提供更多的指导，因此，需要在线的SFM重建方向继续研究。

通过上述分析，现有技术存在的问题及缺陷为：

(1)主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。

(2)被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。

(3)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息。

(4)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少。

(5)双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差。

(6)对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。