[发明专利]快速鲁棒的RGB-D室内三维场景重建方法

说明书

本发明涉及三维重建领域，具体提出了一种快速鲁棒的RGB‑D室内三维场景重建方法，旨在解决解决室内三维场景重建效率不能满足需求的问题，本发明方法包括：采用RGB‑D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB‑D图像进行多尺度体数据融合，生成完整的场景三维模型。本发明能够高效、准确地得到完整室内场景模型，系统具有良好的鲁棒性和扩展性。

技术领域

本发明涉及三维重建领域，具体涉及一种快速鲁棒的RGB-D室内三维场景重建方法。

背景技术

室内场景三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维重建有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行三维重建，但这些仪器大多价格昂贵并且不易携带，所以应用场合有限。随着计算机视觉技术的发展，研究者们开始研究使用纯视觉的方法进行三维重建，涌现出来了大量有益的研究工作。

消费级RGB-D相机Microsoft Kinect推出后，人们可以直接利用深度数据比较便捷地进行室内场景三维重建。Newcombe等人提出的KinectFusion算法利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(Iterative Closest Point,ICP)算法将三维点在当前帧相机坐标系下的坐标与在全局模型中的坐标进行对齐来估计当前帧相机的姿态，再通过曲面隐函数(Truncated Signed Distance Function,TSDF)迭代进行体数据融合，得到稠密的三维模型。虽然Kinect获取深度不受光照条件和纹理丰富程度的影响，但其深度数据范围只有0.5-4m，而且网格模型的位置和大小是固定的，所以只适用于局部、静态的室内场景。

基于消费级RGB-D相机进行室内场景三维重建，一般存在以下几个问题：(1)消费级RGB-D相机获取的深度图像分辨率小、噪声大使得物体表面细节难以保持，而且深度值范围有限不能直接用于完整场景三维重建；(2)室内弱纹理区域几何结构简单、可以提取的点特征比较少，基于ICP和特征法的相机定位比较困难；(3)利用装配RGB-D相机的机器人采集室内场景，会存在冗余重复的数据，影响建模速度和精度。

为了进行完整的室内场景三维重建，Whelan等人提出了Kintinuous算法，是对KinectFusion的进一步扩展。该算法使用Shifting TSDF Volume循环利用显存的方式解决大场景重建时网格模型显存消耗的问题，并通过DBoW寻找匹配的关键帧进行闭环检测，最后对位姿图和模型做优化，从而得到大场景三维模型。Choi和Zeng等人提出了局部-全局配准的思想，先将RGB-D数据流做分段，对每段单独做视觉里程计估计，从两两段间的点云数据中提取描述子寻找匹配进行闭环检测，最后利用优化后的相机姿态进行体数据融合。Elasticfusion使用Surfel模型来表示三维模型，该算法通过优化deformation graph的形式，提高重建和位姿估计的精度。Bunderfusion基于稀疏特征、密集几何特征和光度匹配的对应关系，来估计相机姿态，可以实时得到高质量的场景模型。但这些算法都需要依赖于高配置的计算资源才能达到实时或耗时比较久。

近年来基于特征法的RGB-D相机定位逐渐引起了关注。ORB-SLAM2是一套基于ORB特征进行定位，高精度、高效的稀疏SLAM(simultaneous localization and mapping)系统，可以实时运行在普通CPUs上，但在室内弱纹理区域很容易定位失败。由于室内场景中存在大量的线特征，不少系统基于直线特征进行相机定位以提高在弱纹理区域的相机定位鲁棒性，但是直线特征的提取和匹配都比较耗时。Edge VO直接采用边缘匹配，可以非常高效地进行相机跟踪，但定位精度很差。Edge SLAM在该算法的基础上对初始化做了优化，并加入了闭环控制，提高了定位精度，不过也降低了效率。