[发明专利]基于渲染引擎生成和显示全景图像的方法和显示装置

说明书

本申请公开了基于与显示装置相关联的渲染引擎生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。另外，该方法包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像，并在显示装置上显示全景图像。

技术领域

本发明涉及显示技术，更具体地，涉及一种基于渲染引擎生成全景图像的方法、以及实现该方法的显示装置。

背景技术

在一些应用中，移动虚拟现实(VR)装置需要显示全景图像而不是实时渲染真实场景，以平滑地播放VR视频。传统的全景图像包括从球形的纹理模型生成的单个360°图像。该球体模型存在的几个问题包括：1)由球体模型的顶点到底点的垂直方向上的单个全景图像的斑块聚集引起的显示图像失真；2)由于在特定视场角下缺乏对单个全景图像的图像的像素分辨率的解码能力，限制了在该视场角下图像的最大图像分辨率。

发明内容

一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。该方法还包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。另外，该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像。此外，该方法包括在显示装置上显示全景图像。

可选地，多边形棱柱是等边N侧面多边形棱柱。N是不小于3的整数。

可选地，确定显示模型的步骤包括确定分别从等边N侧面多边形棱柱的每一个侧面或顶面或底面划分的多个子平面。

可选地，确定显示模型的步骤还包括：确定与等边N侧面多边形棱柱的不同平面的相应的多个子平面对应的不同图像分辨率，并基于tan(u/2)/tan(v/2)的比率确定所述多个子平面中的每一个的宽度和长度以及宽长比。u是从所述多个采样相机中的至少一个投射到所述多个子平面中的每一个的水平视场角，v是从多个采样相机中的至少一个投射到多个子平面中的每一个的垂直视场角。

可选地，多个采样相机中的至少一个位于显示模型的中心。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：在从多个采样相机中的一个朝向多个子平面中的一个投射的的相应一个方向上，根据场景以独立定义的图像分辨率分别对所述多个样本子图像中的每一个进行采样。

可选地，单个子平面的独立定义的图像分辨率被配置为比传统模型中的单个视场图像所允许的最大图像分辨率大若干倍。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：通过略微增大视场角以使分别针对朝向顶面的顶视图和朝向底面的底视图的投射正方形大于顶面或底面，在投射正方形中捕获至少两个样本子图像。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：使用两组采样相机针对多个子平面捕获具有视差的两组样本子图像；以及，基于具有视差的两组样本子图像重建3D全景图像。

可选地，将多个样本子图像附加到相应的多个子平面的步骤包括：执行UV映射以将每个样本子图像的图像纹理添加到对应的子平面，并生成用于渲染引擎的构建的显示模型。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤还包括：针对显示模型的多个子平面中的每一个，以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；并将样本子视频附加到相应的子平面以形成构建的显示模型。