[发明专利]基于视角生成的室内场景建模方法

说明书

本发明属于计算机视觉技术领域，尤其涉及基于视角生成的室内场景建模方法。本发明通过低分辨体素场景提供的结构辅助信息，生成多视角下的深度图进行信息补全以完成单视角场景建模过程。以视角生成的方式，深入分析了点云、体素、深度图等不同三维表达方式之间的客观联系，基于深度图生成与融合的方式进行深度图的预测并完成室内场景建模的过程。本发明的单视角建模框架，结合了单视角的彩色图片信息、低分辨率场景信息，通过深度信息补全的方式，将单视角下信息缺失的部分利用多个视角的深度图进行补全。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于视角生成的室内场景建模方法。

背景技术

三维场景重建是计算机视觉与图形学领域中的重点研究方向。近年来，随着硬件设备不断地更新换代，采集难度不断降低、采集精度随之提高。基于此，多个三维数据库得以建立以使用数据驱动的方式帮助三维重建。根据视角数目的不同，室内场景建模任务可分为多视角建模方式与单视角建模方式。多视角建模主要从多张深度图中归纳场景信息，并将信息进行融合以完成场景建模。单视角建模主要从单视角出发以推测出场景完整的结构信息。与直接建模方式有所区别，大量研究人员通过间接的方式完成场景建模，即通过对包含有三维信息的深度图进行预测以间接完成场景建模任务。

(1)多视角的室内场景建模技术

近年来，随着商用深度相机的出现，三维场景建模方面的研究已经获得很大进展。KinectFusion提出新的建模框架，通过深度相机获取场景的RGB-D信息，利用体素融合与ICP(迭代最近点算法)追踪算法完成建模。BundleFusion算法在前人工作的基础上进行创新，提出一种实时的端到端重建框架来完成建模任务，该算法对输入的RGB-D信息进行高效分层，同时对原有的姿态估计与帧优化策略进行改进，提高建模精度。上述建模框架不仅显著减少建模所需时间而且也获得较好的建模质量。但是，由于扫描过程中存在物体相互遮挡、光照不足及视角无法全覆盖等客观条件限制，模型存在点云缺失、噪声等问题。为解决场景建模中存在物体相互遮挡、光照不足及视角无法全覆盖等客观条件限制，模型存在点云缺失、噪声而影响质量的问题，Liyanyang提出基于数据库的场景重建算法，该算法利用3D哈里斯角落点算法选取点云边缘形变较大区域内的点作为关键点，并将关键点周围的几何信息作为对象点云特征，特征的相似度作为检索依据，将场景中不完整的点云替换为数据库点云对象，但算法很难提取形状较小、包含球面的物体的关键点。

基于RGBD数据的室内场景建模技术因结合深度相机的几何信息和彩色相机的视觉信息而得到蓬勃发展，并被广泛应用于虚拟现实、文化修复、三维地图、建筑设计、室内导航等领域。美国华盛顿大学的机器人和状态估计实验室对RGBD数据的三维建模、场景重建、室内定位等做了一系列研究。Henry在中提出了RGB-D映射技术，将视觉特征和形状配准相结合，获得较为复杂室内场景的三维模型，应用于机器人导航、远程呈现等。由于自动算法对数据的依赖，当深度数据由于遮挡、视角、量程等因素的影响不够完整的时候，往往得不到质量较好的三维模型。为此，Du等人提出了一个实时交互系统，在用户扫描场景的时候实时提示用户当前数据质量不够好需要重新扫描，保证了数据的质量，可以更加方便的获得高质量的三维场景。Fusion提出的方法更是将基于深度相机的三维建模推向前沿，吸引了更多学者的关注。它通过GPU实现了随深度相机的运动实时重建出场景的三维模型，将摄像机跟踪、场景分割、重建融合在一起。可以看出，由于单个场景数据本身的局限性，这些方法对当前场景的数据质量依赖较大。