[发明专利]针对头戴式显示设备的光场视点和像素剔除

说明书

一种HMD设备[100]识别所述设备的姿势[106]，并且基于所述姿势来识别光场[130]中的多个相机视点的子集[107]。所述HMD设备基于所述姿势和所述多个相机视点的所述子集来内插所述光场的图像数据[110]以生成内插视图[126]；并且基于所述内插视图来在所述HMD设备显示图像。通过基于所述相机视点的所述子集进行内插，所述HMD设备可以减少处理开销并且改善用户体验。

技术领域

本公开大体上涉及头戴式显示器(HMD)设备，并且更具体地涉及在HMD设备处使用光场。

背景技术

虚拟现实(VR)和增强现实(AR)系统经常采用HMD设备来向用户呈现VR或者AR内容。例如，在HMD设备的处理器处执行的VR应用可以基于HMD设备的姿势来生成图像，并且经由HMD设备的一个或者多个显示面板来将生成的图像呈现给用户，从而向用户提供在虚拟空间周围移动或者环顾虚拟空间的体验。在一些应用中，对处理速度和其它系统资源的限制意味着VR应用不从头开始生成每个图像，而是采用存储的图像来表示虚拟空间的至少一部分。为了生成图像以支持虚拟空间的呈现，一些VR系统采用光场，其中，相机阵列共同记录场景的图像。作为结果的图像集合指示在图像平面中每个点处的光的强度和方向两者。这允许VR应用基于HMD设备的姿势变化来对由相机阵列捕获到的场景的新视点进行投影，从而向用户提供他们正在环顾虚拟空间的印象。然而，以充分的速度来对这些视点进行投影以匹配姿势变化会需要大量的处理器资源，这可能对HMD设备的形状因子产生负面影响，诸如，通过要求将HMD设备连接至大型计算机系统。可替代地，HMD设备可以针对光场采用分辨率相对较低的图像，但是所呈现的虚拟空间的最终质量会对用户体验产生负面影响。

附图说明

通过参考附图，本领域的技术人员可以更好地理解本公开，并且本公开的许多特征和优点对于本领域的技术人员而言将显而易见。在不同的附图中使用相同的附图标记指示相似或者相同的项。

图1是根据一些实施例的基于HMD设备的姿势来剔除光场视点和图像像素的HMD设备的框图。

图2是根据一些实施例的在图1的HMD设备处的光场视点的示例的示意图。

图3是图示了根据一些实施例的采用保守光栅化来剔除光场视点和图像像素的图1的HMD设备的示例的示意图。

图4是图示了根据一些实施例的识别用于剔除在图1的HMD设备处的图像像素的多边形的示例的示意图。

图5是图示了根据一些实施例的采用保守光栅化来剔除图像像素的图1的HMD设备的示例的示意图。

图6是根据一些实施例的在HMD设备处剔除光场视点和图像像素以生成内插视图的方法的流程图。

具体实施方式

图1至图6图示了用于基于HMD设备的姿势来剔除光场相机视点和图像像素的技术，从而减少了待在HMD设备处理以在虚拟空间中对新视点进行投影的数据量。HMD设备基于HMD设备的姿势来识别虚拟空间中的视锥体，并且进一步识别视锥体与光场的相机平面的交叉(intersection)。HMD设备剔除(cull)位于由交叉限定的多边形的周界之外的至少一些相机视点，并且选择与剩余的相机视点子集相关联的存储图像。然后，HMD设备相对于剔除的相机视点来识别光线与选择的图像的图像平面的交叉，并且剔除选择的位于由对应交叉限定的多边形的周界之外的图像的至少一些像素。HMD设备采用剩余的像素子集来生成至少一个用于显示的图像，该图像表示虚拟空间中与HMD设备的姿势对应的视点。