[发明专利]音频用户交互辨识和应用程序接口

说明书

本发明揭示一种应用程序接口，其考虑了在其中正呈现基于音频的上下文信息和/或基于视觉的语义信息的交互式多参与者环境中用户相对于正在说话的人的凝视方向。在这些各种实施方案当中，可使用两种不同类型的麦克风阵列装置MAD。第一类型的MAD是可导向麦克风阵列(也称为可导向阵列)，其由用户佩戴在关于用户的眼睛的已知定向上，且其中多个用户可各自佩戴可导向阵列。第二类型的MAD是固定位置麦克风阵列(也称为固定阵列)，其放置于与用户(其中一或多者正使用可导向阵列)相同的声学空间中。

相关申请案的交叉参考

本申请案依据35U.S.C.§119(e)的权益主张2012年5月11日申请且标题为“音频用户交互辨识和上下文精炼(AUDIO USER INTERACTION RECOGNITION AND CONTEXTREFINEMENT)”的第61/645,818号美国临时专利申请案、2012年6月29日申请且标题为“音频用户交互辨识和应用程序接口(AUDIO USER INTERACTION RECOGNITION AND APPLICATIONINTERFACE)”的第61/666,207号美国临时专利申请案的优先权，且主张2012年11月12日申请且标题为“音频用户交互辨识和应用程序接口(AUDIO USER INTERACTION RECOGNITIONAND APPLICATION INTERFACE)”的第13/674,789号美国非临时专利申请案的优先权，以上申请案的内容明确地以引用方式并入本文。

背景技术

应用程序接口是用户用来与包括系统应用程序(也称为“应用程序”)的一或多个装置交互以便实现用户对应用程序的有效操作和控制的装置。通常，应用程序接口包括硬件和软件组件两者以提供输入装置(允许用户操纵应用程序)和输出装置(允许应用程序指示用户的操纵的效果)两者。来自应用程序接口的输出提供反馈和/或将信息从应用程序递送到用户，其又帮助用户做出操作决策。任何新型应用程序接口的目的是以为用户产生经改善或增强结果的方式改进应用程序的操作，且一般对应用程序接口的较有意义的改进是减少用户的输入同时实现相同或较好所要输出且同时最小化非所要输出的那些改进。

单独来说，可通过在不同时间点确定用户正看着的方向来推导大量有用信息。实际上，在若干不同潜在用途的若干不同上下文中已经采用了使用若干基于视觉的方法中的任一者的大量凝视跟踪研究(即，通过若干现存手段中的任一者跟踪用户眼睛)。然而，了解用户的凝视方向仅提供关于用户关注的一个维度的语义信息，且不考虑大部分由语音和其它可闻(和/或视觉)通信装置给出的上下文信息。换句话说，与当今当前正使用的较简单形式的信息相比，凝视跟踪结合语音跟踪的组合提供关于用户的较丰富且较有意义的信息。

发明内容

为了使用户输入最少，同时递送改善的输出，可由应用程序接口通过知道在说话或收听时用户正看着的方向来推导有用信息，信息可用以增强用户与多种不同应用程序接口上下文的交互。为了实现这些益处，来自一或多个可导向麦克风阵列的输入结合来自固定麦克风阵列的输入可用以在正呈现基于音频的上下文信息和/或基于视觉的语义信息时确定一个人正看着谁或一个人相对于正在说话的人注意什么内容。凝视跟踪结合语音跟踪的组合提供了较丰富且较有意义的与应用的交互的机会。本文揭示的各种实施方案是针对经由应用程序接口的增强用户交互，所述应用程序接口考虑了在其中正呈现基于音频的上下文信息和/或基于视觉的语义信息的交互式多参与者环境中用户相对于正在说话的人的凝视方向。

本文揭示的某些实施方案至少基于来自固定阵列和一个可导向阵列处的音频检测组件(即，麦克风型或其它声音检测装置)检测用户的凝视方向视线，且确定显示装置是否在所述用户的视线中。如果显示装置在用户的视线中，那么在显示装置上显示第一图像，且如果显示装置不在用户的视线中，那么在显示装置上显示第二图像。