[发明专利]显示手势语音交互统一界面的用户终端及其显示方法

说明书

技术领域

本发明涉及数据处理领域，更具体地，涉及一种显示手势语音交互统一界面的用户终端及其显示方法，实现了用户在同一个界面下即可以输入语音，也可以输入手势。以及涉及一种显示手势语音切换界面的用户终端及其显示方法。

背景技术

触屏手机由于屏幕较小，通常会面临操作困难的问题。为增加操作便捷性，手势技术或者语音技术在手机上得以较好的应用。手势技术的应用，例如，海豚浏览器手势操作，uc浏览器多点手势。浏览器的手势操作，可以实现一个特定的手势执行某个复杂操作。语音技术的应用，例如，google的语音搜索，可以实现说话完成搜索功能；uc浏览器，可以完成语音操作。

然而，无论是手势操作还是语音操作，目的都是实现用户与手机自然交互，而现有技术仅仅完成了用户与手机单通道的交互界面，把两种交互模式独立开。用户只能使用手势或者语音执行操作。

发明内容

为了解决将手势交互和语音交互融合为一个统一界面以及可以切换选择手势输入或者语音输入，使得用户与用户终端的交互更加自然和便捷的问题，实现了本发明。本发明的目的是提出一种显示手势语音交互统一界面的用户终端以及一种手势语音切换界面的用户终端及其显示方法。从而，用户在同一个界面下就可以使用语音输入或者手势输入，或者启动按钮切换语音输入或者手势输入，而无需分别点击按钮进行语音输入或者手势输入的选择，用户与用户终端之间的交互变得更加方便、及时。

根据本发明的第一方面，提出一种显示手势语音交互统一界面的用户终端，包括：输入装置，用于接收用户的语音输入与手势输入至少之一；和显示装置，用于显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。

根据本发明的第二方面，提出一种显示手势语音交互统一界面的方法，包括：输入步骤，接收用户的语音输入与手势输入至少之一；和显示步骤，显示至少两个区域，其中，包括第一区域，呈现与用户输入语音有关的状态；以及第二区域，用于接收或显示用户的手势输入。

根据本发明的第三方面，提出一种显示手势语音交互界面的用户终端，包括：输入装置，用于接收用户的语音输入与手势输入至少之一；和显示装置，用于显示至少一个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。

根据本发明的第四方面，提出一种显示手势语音交互界面的方法，包括：输入步骤，接收用户的语音输入与手势输入至少之一；和显示步骤，显示至少一个区域，包括通过点击可展开/收回的手势与语音控制面板的图标。

根据本发明的第五方面，提出一种识别语音输入与手势输入的用户终端，包括：输入装置，用于接收用户的语音输入与手势输入至少之一；语音识别装置，用于将用户输入的语音识别为文本；手势识别装置，用于将用户输入的手势识别为手势命令；和处理器，用于控制用户终端执行与文本对应的命令或者手势命令。

根据本发明的第六方面，提出一种识别语音输入与手势输入的方法，包括：输入步骤，接收用户的语音输入与手势输入至少之一；语音识别步骤，户将用户输入的语音识别为文本；手势识别步骤，将用户输入的手势识别为手势命令；和控制步骤，控制用户终端执行与文本对应的命令或者手势命令。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1a示出根据本发明的实现手势语音交互统一界面的用户终端的示意图；

图1b示出根据本发明的状态模型库的一个示例；

图2a示出根据本发明的在用户输入手势时用户终端显示手势语音交互统一界面的流程图；

图2b示出根据本发明的在用户输入语音时用户终端显示手势语音交互统一界面的流程图；

图3a示出根据本发明的手势语音交互统一界面的一个可视示意图；

图3b示出根据本发明的手势语音切换界面的一个可视示意图；

图4a-4h示出根据本发明的手势语音交互统一界面不同状态的示例；

图5a-5e示出根据本发明的手势语音切换界面的一个示例。

具体实施方式

下面，将参考附图描述本发明的优选实施例。在附图中，相同的元件将由相同的参考符号或数字表示。此外，在本发明的下列描述中，将省略对已知功能和配置的具体描述，以避免使本发明的主题不清楚。