[发明专利]虚拟和增强现实中的多屏幕交互

权利要求书

1.一种在交互式应用中提供多屏幕交互的方法，包括：

使用主用户设备来建立应用会话，所述应用会话包括与所述主用户设备所在的物理环境相关的虚拟环境，其中，所述主用户设备被配置为显示与所述虚拟环境的主虚拟相机视图相关的图形图像；

确定所述虚拟环境的辅助虚拟相机视图，其中，所述辅助虚拟相机视图与所述主虚拟相机视图相关；

将与所述辅助虚拟相机视图相关的图像数据从所述主用户设备发送到辅助用户设备，其中，所述辅助用户设备被配置为基于所述图像数据来显示与所述辅助虚拟相机视图相关的图形图像；以及

响应于从所述辅助用户设备接收交互请求，由所述主用户设备基于所述交互请求来控制所述应用会话。

2.根据权利要求1所述的方法，其中，所述应用会话与增强现实(AR)应用和虚拟现实(VR)应用之一相关，其中，所述主用户设备包括头戴式显示器，并且其中，所述辅助用户设备不包括头戴式显示器。

3.根据权利要求1所述的方法，其中，所述主虚拟相机视图是与所述虚拟环境相关的第一人称视图，其中，所述辅助虚拟相机视图是与所述虚拟环境相关的第三人称视图，并且其中，所述辅助虚拟相机视图的视角可以使用所述辅助用户设备来手动配置。

4.根据权利要求1所述的方法，其中，所述虚拟环境还与所述辅助设备所在的物理环境相关，所述方法还包括：

确定所述辅助用户设备相对于所述主用户设备的物理位置，其中，所述辅助虚拟相机视图包括所述虚拟环境的与所确定的物理位置相关的视图。

5.根据权利要求4所述的方法，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置包括：

使用与所述主用户设备相关的第一视觉传感器来捕获物理参考对象的第一图像；

使用一个或多个计算机处理器来标识所述物理参考对象在所述第一图像中的第一位置；

使用一个或多个计算机处理器基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识所述物理参考对象的第二位置；以及

基于所述物理参考对象的所述第一位置和所述第二位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。

6.根据权利要求4所述的方法，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置包括：

使用与所述主用户设备相关的第一视觉传感器来捕获物理参考对象的第一图像；

使用一个或多个计算机处理器来标识所述物理参考对象在所述第一图像中的位置；

使用所述主用户设备来显示虚拟字形；

使用一个或多个计算机处理器基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识所述虚拟字形的位置；以及

基于所述物理参考对象的位置和所述虚拟字形的位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。

7.根据权利要求4所述的方法，其中，确定所述辅助用户设备相对于所述主用户设备的所述物理位置包括：

使用与所述主用户设备相关的第一视觉传感器来捕获第一物理参考对象的第一图像；

使用一个或多个计算机处理器来标识所述第一物理参考对象在所述第一图像中的第一位置；

使用一个或多个计算机处理器基于在所述应用会话期间由所述辅助用户设备捕获的第二图像来标识第二物理参考对象的第二位置；以及

基于所述第一物理参考对象的所述第一位置和所述第二物理参考对象的所述第二位置来确定所述辅助用户设备相对于所述主用户设备的所述物理位置。

8.根据权利要求4所述的方法，还包括：

接收来自与所述主用户设备和所述辅助用户设备相关的一个或多个惯性测量单元(IMU)的数据；以及

基于从所述一个或多个IMU接收的数据来预测所述辅助用户设备相对于所述主用户设备的所述物理位置。