[发明专利]基于深度视频流的实时三维模型重建方法及系统

说明书

本发明提出了一种基于深度视频流的实时三维模型重建方法及系统，包括：搭建拍摄设备；利用拍摄设备采集深度信息和颜色信息，对深度信息和颜色信息进行畸变校正处理；将深度信息和畸变校正处理后的畸变信息进行特征匹配，并进行空间匹配处理，将每个拍摄设备拍摄的深度图像信息融合为一个点云模型，将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪；对点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组；三维重建计算机获取信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据标定参数进行调整和显示。本发明采用深度与颜色相统一，重采样减帧和三角面优化的方式来减少三维重建的耗时。

技术领域

本发明涉及三维建模技术领域，特别涉及一种基于深度视频流的实时三维模型重建方法及系统。

背景技术

基于深度相机的三维模型重建是将现实物体自动建模并应用于虚实融合的重要一环。目前有精细的三维建模需要昂贵的设备和复杂的处理过程，只能生成静态的模型；而廉价的深度相机只能生成模糊的场景，远远达不到虚实融合的需求。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于深度视频流的实时三维模型重建方法及系统。

为了实现上述目的，本发明一方面的实施例提供一种基于深度视频流的实时三维模型重建方法，包括如下步骤：

步骤S1，搭建拍摄设备，根据拍摄设备的真实相对位置对虚拟场景中的基准点进行标定；

步骤S2，利用所述拍摄设备采集深度信息和颜色信息，利用所述拍摄设备的内部参数对所述深度信息和颜色信息进行畸变校正处理；

步骤S3，将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个所述拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息；

步骤S4，对所述点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至三维重建计算机；

步骤S5，所述三维重建计算机读取标定参数，加载虚拟场景，并获取所述信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据所述标定参数进行调整和显示。

进一步，在所述步骤S1中，所述拍摄设备包括三个摄像头，

利用三角支架固定三个摄像头，计算三个摄像头的真实相对位置；

利用三维引擎工具指定世界坐标系为目标采集的中心点；

将所述三维引擎和三个摄像头之间的空间坐标单元进行同步设置；

配置现实物理模型和虚拟场景的公制单位，保存设置参数，完成标定工作。

进一步，在所述步骤S2中，还包括如下步骤：利用所述拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。

进一步，在所述步骤S4中，所述对点云模型中的点云信息进行三角面计算处理和优化处理，包括如下步骤：

设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，所述信息组包括模型信息、贴图信息和时间标签。

进一步，在所述步骤S5中，比较每个所述拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并分别显示。