[发明专利]一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

说明书

本发明公开了一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，属于三维重建领域，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。本发明具有快速重建360度模型、结果鲁棒、纹理贴图质量高等特点。

技术领域

本发明涉及三维重建领域，特别是涉及使用彩色深度相机进行单个物体的三维重建和纹理贴图领域的方法。

背景技术

三维重建技术是基于二维的输入重建三维物体的方法。包括使用一系列二维彩色图像重建稀疏三维点云或者稠密三维模型的StructureFromMotion(SfM)技术(Agarwal S，Snavely N，Simon I，et al.Building rome in a day Computer Vision，InternationalConference on.IEEE，2009：72-79.；Furukawa Y，Ponce J.Accurate，dense，and robustmultiview stereopsis，IEEE Transactions on Pattern Analysis and MachineIntelligence，2010，32(8)：1362-1376.)，基于二维彩色深度图像重建稠密三维模型的技术(Newcombe R A，Izadi S，Hilliges O，et al.KinectFusion：Real-time dense surfacemapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)。

基于二维彩色深度图像重建稠密三维模型的技术，按照模型存储方式的不同可以分为：1.基于Volume的表达，Volume中的每一个体素存储TSDF值，TSDF值表达截断的该体素到三维表面的距离(Newcombe RA，Izadi S，Hilliges O，et al.KinectFusion：Real-timedense surface mapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)；2.基于Surfel的表达，模型由一系列三维圆表示，每个圆包含了颜色、位置、法向、半径、置信度信息(WHELAN T.，LEUTENEGGER S.，SALAS-MORENO R.F.，GLOCKER B.，DAVISON A.J.：Elasticfusion：Dense SLAM without A posegraph.In Robotics：Scienceand Systems XI，Sapienza University of Rome，(2015).)。模型的正确融合依赖于准确相机位姿跟踪，包括回环检测和局部、全局相机位姿优化；(KERL C.，STURM J.，CREMERSD.：Dense visual slam for rgb-d cameras.In International Conference onIntelligent Robots and Systems，IROS，(Nov 2013)，pp.2100-2106.；ENDRES F.，HESSJ.，ENGELHARD N.，STURM J.，CREMERS D.，BURGARD W.：An evaluation of the RGB-DSLAM system.In International Conference on Robotics and Automation，ICRA，(2012)，pp.1691-1696.)通过在相机位姿估计中加入颜色信息和局部特征增加相机位姿估计的鲁棒性；(ZHOU Q.，MILLER S.，KOLTUN V.：Elastic fragments for dense scenereconstruction.In International Conference on Computer Vision，ICCV，(2013)，pp.473-480.；DAI A.，NIESSNER M.，ZOLLHOFER M.，IZADI S.，THEOBALT C.：Bundlefusion：real-time globally consistent 3d reconstruction using on-the-flysurface re-integration.ACM Transactions on Graphics，TOG，36，4(2017).)分别基于模型片段和基于帧进行回环检测和优化，在大场景的扫描中减少扫描过程中的相机位姿漂移、保证模型的一致性。