[发明专利]四边形化的分层深度图像

说明书

在一个总的方面，一种计算机实现的方法包括识别包括在用于渲染虚拟现实(VR)空间中的三维(3D)图像的场景的分层深度图像(LDI)表示中的多个像素样本；由处理器将所述多个像素样本的子集分组成数据块，该分组包括基于与相应像素样本相关联的误差度量从场景的LDI表示中提取包括在用于包括在数据块中的所述多个像素样本的子集中的每个像素样本；由处理器创建用于所述数据块的纹理图，所述纹理图与所述数据块相关联；存储所述数据块和所述相关联的纹理图；以及使用所述数据块和所述纹理图触发对VR空间中的3D图像的渲染。

技术领域

本说明书总体涉及在虚拟现实(VR)空间中的场景表示。

背景技术

基于图像渲染(IBR)技术可以用来表示和渲染对象。当渲染几何复杂场景时，IBR技术会是有益的。另外或替代地，当遮蔽几何复杂的场景时(例如，当使用全局照明算法时)，IBR技术会是有益的。

在一些情况下，随着对象的几何复杂性增加，渲染对象所需的时间也会增加。例如，IBR技术可以是纹理映射。在另一示例中，分层深度图像(LDI) 可以是可用于表示并渲染具有复杂几何结构的对象的基于图像的技术。用于表示并渲染对象的IBR技术的选择可以基于对象的复杂性。可以确定IBR 技术选择以最小化图像渲染时间。

发明内容

在一个总体方面，计算机实现方法可以包括识别包括在用于渲染虚拟现实(VR)空间中三维(3D)图像的场景的分层深度图像(LDI)表示中的多个像素样本、由处理器将该多个像素样本的子集分组成数据块(该分组包括基于与相应像素样本相关联的误差度量从场景的LDI表示中提取包括在多个像素样本的子集中的每个像素样本，所述多个像素样本的子集用于包含在所述数据块中)、由处理器创建用于数据块的纹理图(该纹理图与数据块相关联)、存储数据块和相关联的纹理图并且使用数据块和相关联的纹理图来触发对VR空间中3D图像的渲染。

实现方式可以单独地或与一个或多个其他特征组合地包括以下特征中的一个或多个。例如，处理器可以是图形处理单元(GPU)。使用数据块和相关联的纹理图来触发对VR空间中3D图像的渲染可以包括触发数据块的栅格化以及触发相关纹理图的应用。数据块可以由平面瓦片表示。将多个像素样本的子集分组成数据块还可以包括确定像素样本的误差度量是否大于误差阈值以及基于确定该像素样本的误差度量大于误差阈值而不将该像素样本包括在用于分组成数据块的多个像素样本的子集中。误差阈值可以基于原始相机位置周围的区域，在该区域中场景的LDI表示被认为是有效的。

该方法可以包括基于与像素样本(具体是LDI像素样本)相关联的深度值和与像素样本(具体是LDI像素样本)相关联的表面法线的值创建候选平面或候选平面瓦片，并且定位位于候选平面瓦片中的误差度量内的像素样本 (具体是LDI像素样本)。

该方法还可以包括由处理器优化与数据块相关联的参数，优化使包括在数据块中的多个像素样本的子集的总划分误差最小化。可以通过四边形算法执行多个像素样本的子集的分组。可以通过划分算法执行多个像素样本的子集的分组。

在另一个总体方面，计算设备可以包括配置为显示图像数据的屏幕、配置为向屏幕提供图像数据的显示接口、配置为存储数据块的GPU缓存器以及图形处理单元(GPU)。GPU可以配置为识别包括在用于渲染虚拟现实(VR)空间中三维(3D)图像的场景的分层深度图像(LDI)表示中的多个像素样本、将多个像素样本的子集分组成数据块(该分组包括基于与相应像素样本相关联的误差度量从场景的LDI表示中提取包括在所述多个像素样本的子集中每个像素样本，所述多个像素样本的子集用于包含在所述数据块中)、创建用于数据块的纹理图(纹理图与数据块相关联)、将数据块和与相关联的纹理图存储在GPU缓存器中以及触发对VR空间中3D图像的渲染。渲染可以包括栅格化数据块以及应用相关联的纹理图。GPU可以被进一步配置为将渲染后的3D图像作为图像数据提供至显示接口用于显示在屏幕上。