[发明专利]一种基于室内实时稠密三维重建技术的VR系统

说明书

本发明涉及一种基于室内实时稠密三维重建方法的VR系统，通过安装在VR一体机前端的深度相机采集图像，然后通过RGB‑D深度相机将图像变成深度图像，将其导入实时稠密三维重建模块，经过一系列的算法以及数据重组之后，建立三维模型并导入到游戏引擎，通过GPU实时渲染到OLED显示屏上；同时使用者还可以通过UI界面自主增加内容，与三维模型一起通过GPU实时渲染，在OLED显示屏上显示用户添加的内容以及周围环境的三维模型；当使用者身体移动或者旋转视角的时候，通过传感器模块获得的数据导入CPU进行计算，将结果导入RGB‑D深度相机，判断是否再次采集图像，重复上一过程。本系统最终解决了以往的VR系统的使用者移动身体无法改变场景的局限性，同时可以让用户添加的内容与周围环境一同显示，系统响应速度快，精度高。

技术领域

本发明涉及室内实时稠密三维重建技术，尤其涉及一种基于室内实时稠密三维重建技术的VR系统。

背景技术

由于计算机图形学、计算机视觉、计算机图像处理和计算机辅助设计的发展，三维重建技术也得到了飞速的提升，所谓的三维重建，从广义上来讲就是指对某些三维物体或者三维的场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。在某种程度上来说，三维重建即是一个对于真实环境的还原的一个过程，也是对三维物体或者场景图像描述的一种逆过程，在这个过程中，想要实现精确的还原，就需要复杂的视觉算法以及图形学的支持，同时对于装置设备也有一定的要求。

而随着各种消费级RGB-D传感器的出现，基于这种传感器，实时稠密三维重建方法也应运而生，其中以微软的Kinect、华硕的Xtion以及英特尔的RealSenced等为代表的RGB-D 传感器为代表，随后又有许多算法专家,Newcombe,Davison等人分别提出了单目稠密重建算法DTAM以及KinectFusion算法，KinectFusion算法之后，陆续出现了Kintinuous，ElasticFusion，InfiniTAM，BundleFusion这些算法，目前，由斯坦福大学提出的BundleFusion算法效果较好，正是这些算法的出现极大的促进了这种实时稠密三维重建方法的具体运用。

而传统的VR显示，移动身体，不会使虚拟场景发生变化，即没有对于现实环境的反馈效果，同时，VR所显示的都是录制好的内容，无法根据现实场景实时同步更新，用户也不能轻易改变这些虚拟场景。

发明内容

有鉴于这种情况，在本发明中，主要将这种室内实时稠密三维重建技术用于VR系统进行显示，解决了传统的VR一体机无法与现实环境同步反馈，同时身体移动无法改变虚拟场景这些局限性，一定程度上弥补了VR的不足之处，通过这种室内实时稠密三维重建方法的运用，结合了VR和AR两者之间的优势，形成了本发明这一种基于室内实时稠密三维重建技术的VR系统。

本发明的目的通过以下技术方案实现：

一种基于室内实时稠密三维重建方法的VR系统，首先通过安装在VR一体机前端的深度相机对周围环境进行图像采集，然后通过RGB-D深度相机的工作原理，将图像变成深度图像，将其导入实时稠密三维重建模块，经过一系列的算法以及数据重组之后，建立起三维纹理模型，再将这个模型导入到游戏引擎，通过GPU实时渲染到OLED显示屏上；同时使用者还可以通过UI界面自主增加内容，与三维模型一起通过GPU实时渲染，在OLED显示屏上显示用户添加的内容以及周围环境的三维纹理模型；当使用者身体移动或者旋转视角的时候，通过测距传感器以及IMU模块获得改变的数据导入CPU进行计算，将运算结果导入RGB-D深度相机，判断是否使其再次采集图像，重复上一过程。

本发明采用RGB-D深度相机，实时稠密三维重建模块，VR一体机模块，测距传感器以及IMU模块实现：一种基于室内实时稠密三维重建技术的VR系统，具体包括以下步骤：

步骤S1：RGB-D深度相机采集周围环境图像。

步骤S2：RGB-D深度相机将图像处理成深度图像。