[发明专利]一种基于平面约束的室内场景模型补全方法

说明书

本发明公开了一种基于平面约束的室内场景模型补全方法。在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。本发明消除了不同物体上孔洞之间的干扰，极大的提高了物体模型的补全精度，提高了补全效果，在对场景中的平面模型进行补全时，能够在平面方程的约束下，实现更加鲁棒的平面补全效果。

技术领域

本专利属于计算机图形学中的三维模型重建、三维模型补全领域，是一种充分利用人造室内空间中平面约束条件的室内三维场景模型补全方法，可以进一步的完善实时稠密重建的重建效果，未来可应用于AR和VR领域。

背景技术

在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。

现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型中存在孔洞的问题，提出了一种在重建的三维模型上进行全场景的孔洞补全技术。

现有的三维模型孔洞补全方法分为两种。一种是基于三维点云数据的模型补全，如PCN算法能够将有缺失的点云补全，但点云模型对三维模型的细节和纹理部分描述能力较差，往往无法在VR等领域中应用。第二种是基于稠密三维mesh模型的孔洞补全，但是现有的基于稠密mesh模型的补全算法只针对单个物体模型有效，在进行多物体乃至场景模型孔洞补全时，不同物体上的孔洞会产生互相干扰，使得最终的补全效果十分不理想，所以该方法无法解决整个室内全场景环境模型的孔洞补全任务。

在人造的室内空间中，往往平面是最主要的组成图元，同时各种不同的物品也都分别放置在室内的平面结构之上，所以对于绝大部分不相关的物体我们不需经过深度学习的训练就可以在平面的约束下从空间中彼此分割。

本专利发明了一种在平面结构信息约束下的室内全场景环境模型补全的方法。

发明内容

针对现有技术中存在的不足，本发明提供一种基于平面约束的室内场景模型补全方法。

本发明方法在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。

一种基于平面约束的室内场景模型补全方法，包括以下步骤：

步骤(1)、基于RANSAC的三维模型平面检测；

在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面，将三维空间中的不同平面分割出来，同时将整个模型分割为平面部分和非平面的物体部分，完成预分割。

步骤(2)、非邻接物体的分割；