[发明专利]混合现实交互

摘要

公开了涉及经由头戴式显示器与混合现实环境中的物理对象进行交互的各实施例。在一个实施例中，混合现实交互程序基于由显示器捕捉的图像标识对象。基于混合现实环境的一方面确定针对该对象的交互上下文。查询针对该物理对象的简档以确定针对该对象的交互模式。基于交互上下文编程地选择所选的交互模式。经由显示器接收定向在对象的用户输入并基于所选的交互模式将该用户输入解释成对应于虚拟动作。对与物理对象相关联的虚拟对象执行虚拟动作以修改虚拟对象的外观。随后经由显示器显示经修改的虚拟对象。

主权项

1.一种用于与混合现实环境中的物理对象进行交互的混合现实交互系统，所述混合现实交互系统包括：在操作上连接到计算设备的头戴式显示设备，所述头戴式显示设备包括显示系统和多个输入传感器，所述显示系统用于呈现所述混合现实环境，且所述多个输入传感器包括用于捕捉所述物理对象的图像的相机；以及由所述计算设备的处理器执行的混合现实交互程序，所述混合现实交互程序被配置成：基于所捕捉的图像标识所述物理对象；基于所述混合现实环境的一个或多个方面确定针对所标识的物理对象的交互上下文；查询针对所述物理对象的存储的简档以确定针对所述物理对象的多个交互模式；基于所述交互上下文从所述多个交互模式中编程地选择第一所选的交互模式；经由所述头戴式显示设备的所述输入传感器之一接收定向在所述物理对象处的第一用户输入；基于所述第一所选的交互模式将所述第一用户输入解释成对应于第一虚拟动作；对与所述物理对象相关联的虚拟对象执行所述第一虚拟动作以由此修改所述虚拟对象的外观；经由所述头戴式显示设备以第一经修改的外观显示所述虚拟对象；经由所述头戴式显示设备的多个输入传感器之一接收第二用户输入；基于所述第二用户输入，从所述多个交互模式中的所述第一所选的交互模式改变到第二所选的交互模式；经由所述头戴式显示设备的所述多个输入传感器之一接收定向在所述物理对象处的第三用户输入；基于所述第二所选的交互将所述第三用户输入解释成对应于第二虚拟动作；对与所述物理对象相关联的虚拟对象执行所述第二虚拟动作以由此修改所述虚拟对象的外观；以及经由所述头戴式显示设备经由第二经修改的外观显示所述虚拟对象。