[发明专利]具有无源深度提取的轻型交叉显示设备

说明书

公开了一种包括多个相机和处理器的可穿戴显示系统。可以布置灰度相机和彩色相机以提供与两个相机相关联的中心视场和与两个相机中的一个相机相关联的外围视场。两个相机中的一个或多个可以是全光相机。可穿戴显示系统可以使用至少一个全光相机获取光场信息，并使用第一光场信息和从灰度相机和彩色相机获取的图像立体地确定的第一深度信息来创建世界模型。可穿戴显示系统可以使用至少一个全光相机和世界模型来跟踪头部姿势。当对象满足深度标准时，可穿戴显示系统可以使用一个或两个全光相机跟踪中心视场和外围视场中的对象。

技术领域

本申请总体上涉及一种包括至少一个全光相机的可穿戴交叉现实显示系统。

背景技术

计算机可以控制人类用户界面以创建X Reality(X现实，XR或交叉现实)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)、或混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，以使得用户可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。

XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。

发明内容

本申请的方面涉及一种包括至少一个全光相机的可穿戴交叉现实显示系统。在此描述的技术可以一起使用、单独使用、或以任何合适的组合使用。

根据一些实施例，提供了一种可穿戴显示系统，所述可穿戴显示系统包括：头戴式装置，包括一个具有全局快门的第一相机和一个具有滚动快门的第二相机，所述第一相机和所述第二相机被定位为提供中心视场的重叠视图；以及处理器，其被可操作地耦合到所述第一相机和所述第二相机，并被配置为：执行补偿例程以针对滚动快门图像失真来调整使用所述第二相机获取的图像；以及部分地使用根据使用所述第一相机获取的图像和经调整的图像立体地确定的深度信息来创建世界模型。

在一些实施例中，所述第一相机和所述第二相机可以不对称地向内成角度。

在一些实施例中，所述第一相机的视场可以大于所述第二相机的视场。

在一些实施例中，所述第一相机可以向内成20度到40度之间的角度，并且所述第二相机向内成1度到20度之间的角度。

在一些实施例中，所述第一相机可以具有每像素1弧分到5弧分之间的角像素分辨率。

在一些实施例中，所述处理器还可以被配置为执行尺寸缩小例程以调整使用所述第二相机获取的图像。

在一些实施例中，所述尺寸缩小例程可以包括通过分箱由所述第二相机获取的图像中的像素来生成尺寸缩小的图像。

在一些实施例中，所述补偿例程可以包括：将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较以检测所述第二图像的至少一部分的偏斜；以及调整所述第二图像的所述至少一部分以补偿检测到的偏斜。

在一些实施例中，将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较可以包括：在由所述第一相机获取的第一图像与由所述第二相机获取的第二图像之间执行逐行比较。

在一些实施例中，所述处理器还可以被配置为：基于功率节约标准或世界模型完整性标准中的至少一者，禁用所述第二相机或调制所述第二相机的帧速率。