[发明专利]与话音参考点的协同言语交互

摘要

示例装置和方法通过组合话音与其它输入模态（例如，触摸、悬停、手势、凝视）而改进人类设备交互的效率和准确度以创建更自然且更吸引人的多模态交互。多模态交互扩展了用户对于设备的表达能力。基于经优先化或排序的输入的组合来建立话音参考点。协同言语交互发生在话音参考点的上下文中。示例协同言语交互包括命令、口述或会话交互。话音参考点可以在复杂度方面从单个离散参考点（例如，单个触摸点）变化到多个同时参考点到顺序参考点（单个触摸或多点触摸），到与例如手势相关联的类似参考点。建立话音参考点允许表面化附加的上下文适当的用户接口元件，其进一步在自然且吸引人的体验方面改进人类设备交互。

主权项

一种方法，包括：建立用于用户和设备之间的协同言语交互的话音参考点，其中设备是启用话音的，其中设备具有视觉显示器，其中设备具有至少一个非话音输入装置，并且其中话音参考点的位置至少部分地通过来自非话音输入装置的输入而确定；控制设备以提供关于话音参考点的反馈；接收与用户和设备之间的协同言语交互相关联的输入；以及控制设备以将协同言语交互处理为上下文语音命令，其中与语音命令相关联的上下文至少部分地取决于话音参考点。