[发明专利]用于流式渲染的实时潜在可见集合

说明书

本发明涉及一种用于将3D模型数据从服务器传输给客户端以用于渲染的方法，所述3D模型数据包括多边形，所述方法包括以下步骤：由所述服务器获得所述3D模型数据；并且将所述3D模型数据从所述服务器传输给所述客户端。根据本发明，服务器基于给定的大量的可能视图来获得所述3D模型数据。

技术领域

本发明涉及用于流式渲染(streaming rendering)的方法和装置。

背景技术

实时图形需要日益增长的处理能力。虚拟现实(VR)的最近繁荣已经扩大了这个需求。为了在VR中提供沉浸式体验，在使用头戴式显示器(HMD)时，应用必须为双眼提供高分辨率的、非常高帧率的高视觉保真。即使是最近的高端图形处理单元(GPU)也不能满足这个需求。

尽管系留式HMD系统在连接到高端计算机时支持高质量图形和响应性，但是流畅的用户体验需要用于避免视觉颤抖的方法。异步空间扭曲[http://developer.oculus.com/blog/asynchronous-spacewarp]是这样的技术：该技术在呈现时间更新当前帧，从而根据最近的头部移动变换最后的深度和颜色缓冲器，以便掩蔽小的移动并使用户体验更流畅。然而，该技术只对旋转是正确的，如果图像没有被明显过采样，则遭受质量损失，并且由于平移移动导致的去遮挡引入撕裂伪像。

并发趋势围绕使用容易买到的移动装置(诸如移动电话)直接作为非系留式HDM发展。虽然在HMD上直接计算渲染具有优势，诸如传感器数据的可用性，但是移动芯片提供的渲染能力对于高质量内容是不足的。由于散热约束和有限的蓄电池电源，移动GPU将与台式GPU达到同等水平是不大可能的。作为补救，非系留式HMD可以(例如，在云或Wi-Fi连接的台式计算机中)与远程服务器组合为渲染装置。然而，Wi-Fi连接使渲染延时增加长达100ms，并且广域连接使渲染延时增加长达200ms。为了通过移除有线连接来提高移动性并且使游戏系统的成本保持较低，用于降低远程渲染期间的这种高延时的负面影响的各种方法已经被提出。

独立于设立强大的服务器并且使用另一装置(即，客户端)显示的确切的场景，前面提出的系统采用类似的构思。在核心方面，它们使用如最近的调查[Shu Shi和Cheng-Hsin Hsu.2015年.A Survey of Interactive Remote Rendering Systems.ACMComput.Surv.47,4,Article 57(2015年5月),29页.h.ps://doi.org/10.1145/2719921]所概述的基于图像的渲染技术。服务器将为前一视图、推测的新视图或近距离视图创建的任何数量的图像递送给客户端；客户端拾取一个或多个视图，并且根据中间的相机移动来扭曲它们。取决于扭曲技术，所产生的新视图可以考虑深度信息和去遮挡，并且甚至可以用想象的内容来推测地填满未被覆盖的场景区域。

基于图像的方法总是伴随有如下缺点：与大深度不连续共存的精细场景结构和高频信息造成难以克服的问题。虽然在正常渲染期间欠采样的高频内容将“仅”导致混叠伪像，但是扭曲技术将明显使这些问题更糟，因为它们将已经未充分表示的信息重新投影到新的采样网格上。此外，当传输或恢复深度信息时，对象的少量采样在重新投影之后将导致断开的部分。类似地，当大深度不连续存在于场景中时，去遮挡后的区域通常将导致清楚可见的伪像。

发明内容

因此本发明的目的是提出实时地提供高质量流式渲染的方法和装置。

通过根据独立权利要求的方法和装置来实现该目的。从属权利要求中限定了有利的实施例。

根据本发明的一个方面，提出了在客户端上从3D数据的基于图像的方法切换到前向渲染技术。代替扭曲来自前一帧的像素，客户端简单地渲染多边形，例如，三角形，很像传统的渲染系统。

为了减轻客户端上的渲染负担，三角形数据在服务器上被预先处理并被描影(shade)，并且只有渲染潜在需要的那些多边形必须在需要它们之前被递送给客户端。