[发明专利]具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统

说明书

增强现实系统包括左透明目镜和右透明目镜，用户可以通过左透明目镜和右透明目镜观看真实世界，并且左透明目镜和右透明目镜用于将按图像调制的光耦合到用户的眼睛中以便显示混合现实体验的虚拟内容组件。该系统还包括左扬声器和右扬声器以及用于虚拟对象的用户空间操纵的设备。该系统产生空间化音频，该空间化音频具有固定到由用户在空间上操纵的一个或多个虚拟对象的虚拟声源位置。因此，该系统提供了混合现实体验的虚拟组件的更真实的视觉和听觉呈现。

优先权声明

本专利申请要求2007年3月28日提交的美国临时专利申请No.62/477,976的优先权。

技术领域

本发明涉及增强现实系统。

背景技术

显示技术发展的重要步骤包括：在个人计算机和移动装置中实现的魔术灯、基于电影的运动图片、电视和现代数字视频显示技术。最近已推出虚拟现实头带。这种虚拟现实头带包括位于用户眼睛附近和前方的一对显示器以及介于显示器与用户眼睛之间的透镜，以允许用户聚焦在显示器上。当使用这种虚拟现实头带时，用户完全沉浸在虚拟世界中并且基本上与真实世界隔绝。长期使用虚拟现实系统会引起“虚拟现实疾病”，这可能是由于虚拟环境感觉的真实性存在缺陷。例如，经由前庭系统接收的依赖于用户在真实世界中的动态的感觉刺激可能与虚拟世界中的运动的感觉刺激相冲突。据信人类感知系统高度适合(attune)于整合不同的、视觉的、听觉的、触觉的、味觉的、嗅觉的和前庭的刺激，并且矛盾的感觉导致感觉不一致，这可能导致人类生理系统过渡到低功能(虚拟现实疾病)状态抑制在致病(causative)活动中的进一步参与。

期望提供虚拟内容的呈现，其实现在虚拟内容是真实的情况下将获得的对感觉感知的更高逼真度。

发明内容

本文公开的主题的一个方面包括提供增强现实系统，该增强显示系统包括头带，头带包括左眼显示器和右眼显示器，左眼显示器包括左透明目镜，右眼显示器包括右透明目镜。透明目镜用于将虚拟内容的图像耦合到用户的视场中，同时允许用户看到真实世界并在真实世界中是接地的(例如，具有被定向的和平衡的舒适感觉)。头带还包括左扬声器和右扬声器。该系统还包括手持控制器。跟踪子系统也包括在系统中，该跟踪子系统允许相对于头带的手持控制器的相对平移偏移和取向。该系统还包括耦接到左眼显示器、右眼显示器、左扬声器、右扬声器和跟踪系统的至少一个处理器。至少一个处理器可以包括在头带、手持控制器和/或单独的单元中。该至少一个处理器操作包括至少头带和手持控制器的系统。第一类型虚拟对象的左和右立体图像分别通过左透明目镜和右透明目镜投影。在某些情况下，左和右显示器可以被配置为允许基于到虚拟对象的距离来改变到达用户眼睛的光的波前曲率。由左和右显示器提供的波前曲率可以被量化，使得有限数量的值是可用的或可以是连续可变的。第一类型虚拟对象相对于手持控制器维持基本固定。由于虚拟对象固定到手持控制器，因此通过移动手持控制器，用户可以移动第一类型虚拟对象，并且通过透明目镜看到第一类型虚拟对象相对于真实世界移动。第一类型虚拟对象发出声音。声音从虚拟对象占据的空间中的点发出。发出声音的空间中的点在用户通过手持控制器的设备的控制下与虚拟对象一起移动。当空间中的点移动时，用于空间中的点相对于用户头部的坐标的适当的头部相关传递函数(HRTF)用于处理由对象发出的声音，并且HRTF的立体声输出通过左右扬声器输出。以这种方式，用户听到基本上真实空间化的声音，以便听起来好像从用户已将虚拟对象移动到的位置发出的声音。

在上述方面的替代方案中，不使用手持控制器。然而，跟踪用户的手部和空间化的发声虚拟对象的包括相机的(增强现实系统的)机器视觉子系统至少暂时固定到用户的手部。增强现实系统还可以被配置为识别指示虚拟对象与用户的手部解耦合的某些姿势(例如，投掷动作)。在这种解耦合之后，将继续从虚拟对象的移动位置发出空间化音频。