[发明专利]语音控制用户界面的方法及装置

说明书

技术领域

本发明涉及用户界面技术领域，具体涉及语音控制用户界面的方法及装置。

背景技术

当前的很多软件采取图形用户界面（GUI，Graphical User Interface）的形式，允许用户通过鼠标、键盘、触摸屏等与GUI交互。随着计算机技术的飞速发展，各种便携式可视装备不断涌现，如智能眼镜、智能手表等等。其中，很多装备是不方便用手操作的，语音控制是一种很好的替代方案。

传统的软件用户界面仅考虑可视表现而开发，对于有助于语音交互的界面开发细节关注不够。目前存在各种技术以提供更好的语音人机交互，其中很多注重于创建可结合的更易于语音输入交互的新交互风格，如CommandTalk、ATIS、ELVIS、SUITEKeys等等。SUITEKeys直接模拟用手移动鼠标并且按各个键的交互。这些系统侧重于提供用于口头人机交互的改进型模型，从而在根本上改变交互风格。

近年来，已有一些影响较大的实用的语音识别控制系统推出，如GoogleVoice、Apple Siri等等。Google Voice对语音输入的语法结构和格式要求较高，Apple Siri则更注重结合上下文的语义智能分析。

当前的语音识别控制系统通过语音识别进行语义的智能分析和系统功能的调用。在语音输入的结构上，现有的语音控制系统可以分为两种：

一、要求语音输入具备严格的语法结构和格式，否则系统将无法识别。这种方式的控制系统又可分为两类：

第一类需要预先注册可以处理的一系列语音命令，并指定一个或多个语音命令的执行可能使用的用户界面执行的一个或多个语义操作信号。这一类集中在对设备常用功能的控制，普适性不佳，不易扩展。

第二类采用预定义的规则，解析UI框架（framework）元素，使UIframework支持语音，以便用户可使用语音命令与一些用户界面元素交互。这种方法普适性很好，目前基于这种方法的已有系统的主要问题是不够智能，用户体验不佳。

二、对输入没有严格要求，针对用户的语音输入会结合上下文进行语义的智能分析，根据分析的结果进行合适的处理。这类系统更加智能，人机互动方面，表现比较出色；最大的缺点是在实际的系统表现中，语义的分析目前远不够准确，经常会出现答非所问的情况。

发明内容

本发明提供语音控制用户界面的方法及装置，以提高语音控制用户界面的效率。

本发明的技术方案是这样实现的：

一种语音控制用户界面的方法，该方法包括：

当一用户界面即将载入运行时，遍历该用户界面上的元素，分别从每个元素中抽取该元素的标签，将抽取的所有界面元素标签保存到运行时标签库；

当接收到用户输入的语音时，将该语音与运行时标签库中的各界面元素标签一一匹配，若匹配上，则对匹配的元素标签进行语义分析，根据语义分析结果对界面元素进行预定义的操作。

所述分别从每个元素中抽取该元素的标签为：

当界面元素为下拉列表时，抽取该下拉列表的各列表项文本作为该下拉列表的标签；

当界面元素为文本框时，抽取该文本框的预设的只读颜色的文本作为该文本框的标签；

当界面元素为文本区域时，抽取该文本区域的预设的只读颜色的文本作为该文本区域的标签；

当界面元素为列表框时，抽取该列表框中各个栏目item对应的单item文本或多个子item文本作为该列表框的标签；

当界面元素为网格视图时，抽取该网格视图中各个item对应的单item文本或多个子item文本作为该网格视图的标签；

当界面元素为复选框时，抽取该复选框中各个item对应的单item文本或多个子item文本作为该复选框的标签；

当界面元素为单选按钮时，抽取该单选按钮中各个item对应的单item文本或多个子item文本作为该单选框的标签；

当界面元素为按钮时，抽取该按钮上的文字作为该按钮的标签；

当界面元素为拖动条时，抽取该拖动条的描述性标记label作为该拖动条的标签；

当界面元素为日期和时间控件时，抽取该控件的描述性label作为该控件的标签；

当界面元素为图片切换控件或滚动视图控件时，当该控件未聚焦时，若该控件自带描述性label，则抽取该描述性label作为该控件的标签，若该控件不带描述性label，则将为该控件预设的标签作为该控件的标签；当该控件聚焦时，抽取控件的用户界面动作作为该控件的标签；