[发明专利]一种基于室内空间布局约束的场景模型补全方法

说明书

本发明公开了一种基于室内空间布局约束的场景模型补全方法。首先使用超体素分割对室内稠密三维重建模型进行预处理，将mesh模型转换成超体素数据，每个超体素数据将邻局部特征一致的mesh进行初步的聚类，在保持原三维模型的特征的基础上大大的减少了计算量，然后在超体素模型上使用RANSAC平面检测算法，进行平面的预提取，建立带有平面几何约束的能量函数，通过求解能量函数求得该三维室内模型中的建筑主体结构平面，然后得出模型的室内空间布局，在室内空间布局的约束下，进行孔洞检测和孔洞修补，最终完成三维模型的孔洞补全。本发明方法能够大大提升对墙角等墙建筑主体结构上的补全效果，进而提升了整体室内环境的补全效果。

技术领域

本发明属于计算机图形学中的三维模型重建、三维模型补全、三维数据处理领域，是一种充分利用人造室内空间中layout约束条件的室内三维场景模型补全方法，可以进一步的完善实时稠密重建的重建效果，尤其是能大大提高墙角处的补全效果，未来可应用于AR和VR领域。

背景技术

在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。

现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型中存在孔洞的问题，提出了一种在重建的三维模型上进行全场景的孔洞补全技术。

现有的三维模型孔洞补全方法分为两种。一种是基于三维点云数据的模型补全，如PCN算法能够将有缺失的点云补全，但点云模型对三维模型的细节和纹理部分描述能力较差，往往无法在VR等领域中应用。第二种是基于稠密三维mesh模型的孔洞补全，但是现有的基于稠密mesh模型的补全算法只针对单个物体模型有效，在进行多物体乃至场景模型孔洞补全时，不同物体上的孔洞会产生互相干扰，使得最终的补全效果十分不理想，同时当墙角处出现孔洞时，该方法往往将墙角补成弧线形，与真实场景不符，所以该方法无法良好的解决整个室内全场景环境模型的孔洞补全任务。

在人造的室内环境中，三维空间往往由互相垂直或平行的墙面地面等围城的固定区域中，所以充分利用好室内的空间布局(layout)信息，能够更加精准的完成对室内场景的补全。

本专利发明了一种在室内空间布局信息约束下的室内全场景环境模型补全的方法，该方法充分利用了室内场景特有的布局特点，大大提高了对墙角处的场景补全效果，进而提高了对整体室内场景的补全效果。

发明内容

针对现有技术中存在的不足，本发明提供一种基于室内空间布局约束的场景模型补全方法。

本发明首先使用超体素分割的方法对室内稠密三维重建模型进行预处理，使得大量的mesh模型转换成超体素数据，每个超体素数据将邻局部特征一致的mesh进行初步的聚类，在尽可能保持原三维模型的特征的基础上大大的减少了计算量，然后在超体素模型上使用RANSAC平面检测算法，进行平面的预提取，将室内平面区域大于一定阈值的平面全部提出后，建立一个带有平面几何约束的能量函数，通过求解能量函数求得该三维室内模型中的建筑主体结构平面，然后得出该模型的室内空间布局，在室内空间布局的约束下，进行模型的孔洞检测和孔洞修补，最终完成了该室内三维模型的孔洞补全，重建出一个新的没有孔洞的完整室内场景模型。

一种基于室内空间布局约束的场景模型补全方法，包括以下步骤：

步骤(1)、三维模型预处理；