[发明专利]可穿戴系统的多模式任务执行和文本编辑

权利要求书

1.一种可穿戴系统，包括：

可穿戴系统的第一传感器，其被配置为在第一输入模式下获取第一用户输入数据；

所述可穿戴系统的第二传感器，其被配置为在第二输入模式下获取第二用户输入数据，所述第二输入模式不同于所述第一输入模式；以及

硬件处理器，其与所述第一传感器和所述第二传感器通信，所述硬件处理器被编程为：

接收包括所述第一输入模式下的所述第一用户输入数据和所述第二输入模式下的所述第二用户输入数据的多模式输入；

基于所述第一用户输入数据识别用于交互的第一组候选对象；

基于所述第二用户输入数据识别用于交互的第二组候选对象；

在所述第一组候选对象内选择第一候选对象；

基于所述第一用户输入数据确定所述第一候选对象的第一置信度得分，其中所述第一置信度得分基于用户视野之内的所述第一候选对象的第一部分相对于所述用户视野之外的所述第一候选对象的第二部分的比例区域；

基于所述第二用户输入数据确定所述第一候选对象的第二置信度得分；

至少基于所述第一置信度得分和所述第二置信度得分计算所述第一候选对象的总置信度得分；

基于所述第一用户输入数据、所述第二用户输入数据和所述总置信度得分的组合从所述第一组候选对象和所述第二组候选对象中确定目标虚拟对象；

基于所述第一用户输入数据或所述第二用户输入数据中的至少一者确定对所述目标虚拟对象的用户界面操作；以及

生成多模式输入命令，所述多模式输入命令导致对所述目标虚拟对象执行所述用户界面操作。

2.根据权利要求1所述的系统，其中所述多模式输入包括以下输入模式中的至少两者：头部姿势、眼睛注视、用户输入设备、手势或语音。

3.根据权利要求1所述的系统，其中所述用户界面操作包括选择所述目标虚拟对象、移动所述目标虚拟对象或调整所述目标虚拟对象的大小中的至少一者。

4.根据权利要求1所述的系统，其中所述硬件处理器被进一步配置为确定在所述用户界面操作中所述目标虚拟对象的目标位置、取向或运动中的至少一者。

5.根据权利要求4所述的系统，其中为了确定所述目标虚拟对象的所述目标位置，所述硬件处理器被编程为识别物理环境中用于放置所述目标虚拟对象的可使用表面。

6.根据权利要求5所述的系统，其中所述可使用表面通过以下方式识别：

计算所述物理环境中的物理对象上的兴趣点(POI)的距离函数；

消除所述POI中的在平面公差之外的一个或多个POI；以及

基于剩余的POI划定所述可使用表面。

7.根据权利要求5所述的系统，其中所述硬件处理器被编程为自动定向所述目标虚拟对象以匹配所述目标位置的取向。

8.根据权利要求1所述的系统，其中基于所述第一输入模式下的所述第一用户输入数据确定所述用户界面操作，并且基于所述第一输入模式和所述第二输入模式的组合确定所述多模式输入命令的主题或所述多模式输入命令的参数中的至少一者，其中所述主题包括所述用户将要与之交互的目标虚拟对象，并且其中所述参数至少包括所述主题的目标位置、取向或运动。

9.根据权利要求1所述的系统，其中所述第一输入模式包括基于所述可穿戴系统的用户的位置信息的间接输入模式。

10.根据权利要求9所述的系统，其中所述硬件处理器被编程为响应于确定一虚拟对象在所述用户的阈值范围之内，从所述第一组候选对象和所述第二组候选对象中识别出该虚拟对象作为所述目标虚拟对象。

11.根据权利要求1所述的系统，其中所述用户界面操作与虚拟应用相关联，并且所述虚拟应用被编程为对所述第一传感器或所述第二传感器中的一者更具响应性。