[发明专利]运载工具的多模态用户接口

说明书

本文描述的一些实施例涉及用于汽车的多模态用户接口。多模态用户接口可以诸如通过在汽车的挡风玻璃上投影信息等在挡风玻璃上显示信息，并且可以经由多个模态接受来自用户的输入，多个模态可以包括语音接口以及其它接口。其它接口可以包括允许用户通过指示角度来提供几何输入的接口。在一些实施例中，用户可以使用多个不同的输入模态来定义要进行的任务。例如，用户可以经由语音接口提供描述用户请求进行的任务的语音输入，并且可以经由一个或多个其它接口提供与该任务相关的几何参数。多模态用户接口可以根据输入来确定任务和几何参数。

技术领域

本文描述的一些实施例涉及经由多种模态接受输入的多模态用户接口。在一些实施例中，多模态用户接口可以是汽车的接口，诸如允许用户在汽车的挡风玻璃上显示信息和/或与在汽车的挡风玻璃上显示的信息交互的用户接口等。在一些实施例中，多模态用户接口可以经由描述要进行的任务的一个输入模态(例如，语音)来接收输入，并且还经由一个或多个其它模态来接收该任务的一个或多个参数的输入。在这样的参数是几何参数(诸如方向参数等)的情况下，可以从用于检测由用户指示的角度(诸如从用户正指向的角度和/或用户正观看的角度)等的模态接收输入。

背景技术

可以经由汽车的一个或多个用户接口向汽车的驾驶员和乘客显示信息。例如，可以在汽车的仪表板上的一个或多个仪表上显示指示与汽车的状态有关的信息(诸如与汽车的速度、剩余燃料量或发动机状态有关的信息等)的仪表。作为另一示例，可以经由接口显示与汽车的环境控制有关的信息，或者可以经由接口显示与汽车的音频系统有关的信息。在包括导航系统的汽车中，可以经由接口显示导航信息。

发明内容

在一个实施例中，提供一种操作汽车的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务，所述任务与所述汽车的挡风玻璃上的信息的显示相关；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述任务来更新所述汽车的挡风玻璃上的信息的显示。

在另一实施例中，提供至少一个计算机可读存储介质，其用计算机可执行指令编码，所述计算机可执行指令在由计算机执行时使得所述计算机执行操作汽车的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述任务来控制信息的输出。

在另一实施例中，提供一种设备，包括：至少一个处理器；以及至少一个计算机可读存储介质，其用计算机可执行指令编码，所述计算机可执行指令在由计算机执行时使得所述计算机执行操作运载工具的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述至少一个几何参数来进行所述任务。

以上是由所附权利要求书限定的本发明的非限制性总结。

附图说明

附图不旨在按比例绘制。在附图中，各种附图中示出的各个相同或几乎相同的组件由相同的数字表示。为了清楚起见，可能没有在每个图上标注每个组件。在图中：

图1描绘了一些实施例可以操作的多模态用户接口的示例；

图2是多模态接口系统的示例的一些说明性组件的概述；

图3是可以在一些实施例中实现以根据由用户提供的多模态输入来进行任务的处理的流程图；

图4A和4B是可以在一些实施例中实现以识别由用户提供的非语音输入指示的位置的处理的流程图；

图5是可以在一些实施例中实现以确定用户使用哪个模态提供非语音输入的处理的流程图；

图6A和6B是可以在一些实施例中实现以识别与语音输入中包括的歧义相对应的非语音输入的处理的流程图；