[发明专利]具有动态区域分辨率的虚拟/增强现实系统

说明书

本发明涉及具有动态区域分辨率的虚拟/增强现实系统。提供一种虚拟图像生成系统和方法。呈现三维场景的多个合成图像帧，并将其顺序地显示给最终用户。所显示的图像帧中的每一者具有非均匀分辨率分布。

本申请是申请日为2016年7月15日、PCT国际申请号为PCT/US2016/042649、中国国家阶段申请号为201680041859.4、发明名称为“具有动态区域分辨率的虚拟/增强现实系统”的申请的分案申请。

技术领域

本发明一般地涉及被配置为促进一个或多个用户的交互式虚拟或增强现实环境的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字地再现的图像或其各部分以它们看起来真实或可以被感知为真实的方式呈现给用户。虚拟现实(VR)情景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(AR)情景通常涉及将数字或虚拟图像信息呈现为对最终用户周围的实际世界的视觉化的增强。

例如，参考图1，示出增强现实场景4，其中AR技术的用户看到在背景中以人、树木、建筑物为特色的真实世界公园式环境6、以及混凝土平台8。除了这些物品之外，AR技术的最终用户还感觉他“看到”站在真实世界平台8上的机器人雕像10、以及飞行的卡通式化身角色12(其看起来是大黄蜂的化身)，尽管在真实世界中不存在这些元素10、12。事实证明，人类视觉感知系统非常复杂，并且产生促进在其它虚拟或真实世界图像元素中舒适、自然、丰富地呈现虚拟图像元素的VR或AR技术具有挑战性。

VR和AR系统通常采用头戴式显示器(或头盔显示器、或智能眼镜)，它们至少松散地耦合到用户的头部，并且因此当最终用户的头部移动时移动。如果显示系统检测到最终用户的头部运动，则能够更新正在被显示的数据以便考虑头部姿势(即，用户头部的方位和/或位置)的变化。

例如，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示，并且在3D对象出现的区域周围走动，则能够针对每个视点重新呈现该3D对象，从而使最终用户感觉他或她正在占据真实空间的对象周围走动。如果使用头戴式显示器在虚拟空间(例如，丰富虚拟世界)内呈现多个对象，则能够使用头部姿势的测量重新呈现场景，以便与最终用户的动态变化的头部位置和方位相匹配，并且提供在虚拟空间中的增加的沉浸感。

启用AR的头戴式显示器(即，同时观看真实和虚拟元素)能够具有数种不同类型的配置。在一个此类配置(通常被称为“视频透视式(see-through)”显示器)中，摄像机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获的真实场景上，并且不透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视式”显示器，其中最终用户能够透过显示系统中的透明(或半透明)元件进行查看，以便直接观看来自环境中真实对象的光。透明元件(通常被称为“组合器”)将来自显示器的光叠加在最终用户的真实世界视图之上。

VR和AR系统通常采用具有投影子系统和显示表面的显示系统，显示表面位于最终用户的视场的前方，并且投影子系统在显示表面上顺序地投影图像帧。在真实的三维系统中，能够以帧速率或子帧速率控制显示表面的深度。投影子系统可以包括一个或多个光纤，其中来自一个或多个光源的光以定义的模式发射不同颜色的光；以及扫描设备，其以预定模式扫描光纤(多个)，以便产生顺序地显示给最终用户的图像帧。

因为VR或AR系统与人类视觉系统紧密对接，所以每个图像帧的分辨率仅需与人眼的分辨率相匹配以便提供正确的视觉刺激。为此，通常将每个图像帧的分辨率设置为人眼的最大分辨率。但是，因为任何特定系统的扫描频率取决于由于软件和硬件限制而导致的图像帧分辨率(即，相应图像帧以图形方式呈现(软件)并经由扫描器(硬件)实际呈现给最终用户时的频率)，所以尝试将图像帧分辨率与人眼的最大分辨率相匹配增加了对AR和VR系统的限制，这可导致这样的扫描频率：这些扫描频率可能不会优化最终用户的观看体验和/或需要极其昂贵的AR或VR系统组件来实现生成和呈现较高分辨率图像帧所需的增加的处理和扫描速度。