[发明专利]一种基于多视点视频的三维展示方法

说明书

技术领域

本发明涉及计算机图形图像、视频、虚拟现实领域，尤其涉及一种基于 多视点视频的三维展示技术。

背景技术

真实场景的三维再现传统方法是对真实场景进行三维重建，得到一系 列的三维模型，然后基于不同的视点位置利用计算机图形学对三维模型进 行高真实感的渲染绘制，得到真实场景在不同视点下的图像。获得场景三 维模型的常见方法有以下几种：一是利用三维建模软件直接创造三维模型， 严格上来说，这样的模型和真实的物体还是存在比较大的差距的；二是通 过提取图像或视频的信息重建物体的三维形态；三是通过三维扫描设备对 物体表面进行三维扫描。上述方法得到一定范围的应用，但仅仅局限于静 态场景，对于动态场景仍面临许多富有挑战性的问题，主要表现在：

(1)传统的真实场景重建一般是基于图像或者采用三维建模软件的方 法进行建模，由于真实的场景过于复杂，基于图像的建模方法以及三维建 模软件建模方法都无法得到和真实场景一样的复杂度和真实感，无论采用 多么先进的真实感渲染算法，得到的图像在真实感方面都无法和真实的照 片相比较。

(2)建模的复杂度。真实场景往往包含很多的场景元素，每个单独的 场景元素建模都是很费时的，当场景很大包含的内容很丰富的时候，采用 三维建模软件建模和基于图像的建模来构建这样一个真实的场景是不现实 的，况且基于图像的建模由于图像的匹配等要求场景不能太复杂，建立出 来的模型随着场景的复杂度越高效果越差。

(3)实时应用限制。真实场景的三维再现主要应用在实时再现方面， 传统的方法得到的三维模型的复杂度是和真实场景的内容丰富度成正比 的，如果真实场景越复杂，那么重构出来的三维模型的面片数和纹理数也 就越复杂，那么高真实感地渲染这样一个复杂的三维模型在目前的计算机 硬件和计算机图形学的技术条件下是非常耗时的，不能够满足实时应用领 域的速度要求。

(4)静态场景限制。基于图像的建模方法或者三维建模软件建模方法 已经能够建立不太复杂的真实场景，尽管能够满足一些领域的应用，但是 对于复杂的动态场景，建立一个序列的复杂场景模型，在时间耗费上以及 复杂场景模型存储上都存在很大的问题。传统的方法适用于静态的简单的 真实场景的建模，而对于动态的真实复杂场景的建模显得无能为力。

因此，通过部署在动态真实场景中的多个视频获取设备对动态场景的 每个时刻进行同步地获取不同视点角度的视频数据，然后对这些视频数据 按照时间和视点两个维度进行视频数据整合建模，利用已有视点视频图像 以及虚拟视点生成等技术，支持动态真实场景的三维再现展示对于复杂真 实场景的再现是非常有意义的。

发明内容

本发明提出了一种基于多视点视频的三维展示方法，有别于目前的基 于三维数字化模型的三维展示技术，本发明是利用多个视点的视频图像来 模拟三维数字化模型的各个角度图像，通过这种方法不仅仅可以快速方便 地对真实场景进行全方位的再现，同时避免了真实复杂场景的建模问题， 同时可以达到和高真实三维数字化建模同样甚至更高的效果。

本发明通过多个视点的视频来对真实场景进行三维展示，主要有数据 建模和三维渲染两个部分，包括以下步骤：

(1)在多个视点上分别获取三维场景的视频数据，得到多视点的视频 数据，针对多视点的视频数据，从各视点的视频数据中提取时间维度相应 的帧，并整合为若干数据片段；该步骤中视点数量一般为至少4个，实际 过程中可根据实际需要设定；

(2)构建一个多面体盒子，多面体盒子的面数与多视点的视点数相对 应，逐个提取步骤(1)中的数据片段，将每个视点的视频数据贴图到多面 体盒子的一对应面；这样构成了一个基于真实世界的全景图，这个全景图 不是静止的，而是随着多视点视频的不同帧的光照不同而动态变化；

(3)将构建好的三维模型放在多面体盒子中心，将整个多面体盒子划 分为若干个等面积的小平面，每个小平面虚拟为一个点光源；该步骤每个 面上等面积的小平面的数量一般为十个以上，可根据实际显示需要确定；

(4)计算三维模型上所有几何点各个方向的出射亮度值，其中任一几 何点的出射亮度值为L_r(x，ω_r)，如下式：

式(1)中：