[发明专利]语音控制用户界面的方法及装置

权利要求书

1.一种语音控制用户界面的方法，其特征在于，该方法包括：

当一用户界面即将载入运行时，遍历该用户界面上的元素，分别从每个元素中抽取该元素的标签，将抽取的所有界面元素标签保存到运行时标签库；

当接收到用户输入的语音时，将该语音与运行时标签库中的各界面元素标签一一匹配，若匹配上，则对匹配的元素标签进行语义分析，根据语义分析结果对界面元素进行预定义的操作。

2.根据权利要求1所述的方法，其特征在于，所述分别从每个元素中抽取该元素的标签为：

当界面元素为下拉列表时，抽取该下拉列表的各列表项文本作为该下拉列表的标签；

当界面元素为文本框时，抽取该文本框的预设的只读颜色的文本作为该文本框的标签；

当界面元素为文本区域时，抽取该文本区域的预设的只读颜色的文本作为该文本区域的标签；

当界面元素为列表框时，抽取该列表框中各个栏目item对应的单item文本或多个子item文本作为该列表框的标签；

当界面元素为网格视图时，抽取该网格视图中各个item对应的单item文本或多个子item文本作为该网格视图的标签；

当界面元素为复选框时，抽取该复选框中各个item对应的单item文本或多个子item文本作为该复选框的标签；

当界面元素为单选按钮时，抽取该单选按钮中各个item对应的单item文本或多个子item文本作为该单选框的标签；

当界面元素为按钮时，抽取该按钮上的文字作为该按钮的标签；

当界面元素为拖动条时，抽取该拖动条的描述性标记label作为该拖动条的标签；

当界面元素为日期和时间控件时，抽取该控件的描述性label作为该控件的标签；

当界面元素为图片切换控件或滚动视图控件时，当该控件未聚焦时，若该控件自带描述性label，则抽取该描述性label作为该控件的标签，若该控件不带描述性label，则将为该控件预设的标签作为该控件的标签；当该控件聚焦时，抽取控件的用户界面动作作为该控件的标签；

当界面元素为组编辑区域时，对于每个窗口小部件widget的每个可编辑区域，若该可编辑区域自带描述性label，则抽取该描述性label作为该可编辑区域的标签，否则，抽取该可编辑区域所属的widget的描述性label作为该可编辑区域的标签。

3.根据权利要求1所述的方法，其特征在于，所述遍历该用户界面上的元素为：

对于每个即将载入运行的用户界面，分别遍历各用户界面上的元素；

或者，只遍历最前端的活动界面上的元素。

4.根据权利要求1所述的方法，其特征在于，所述匹配上为：完全匹配上；

且，所述将该语音与运行时标签库中的各界面元素标签一一匹配之后进一步包括：若语音的一部分与一界面元素标签匹配上，则对匹配的元素标签进行语义分析，根据语义分析结果对界面元素进行预定义的操作，然后将语音的另一部分作为该界面元素的内容输入。

5.根据权利要求1所述的方法，其特征在于，所述将该语音与运行时标签库中的各界面元素标签一一匹配之后进一步包括：若未匹配上，则判断当前可视用户界面上是否有可输入的聚焦元素，若是，则将语音作为该元素的内容输入；否则，丢弃该语音。

6.根据权利要求1所述的方法，其特征在于，所述将该语音与运行时标签库中的各界面元素标签一一匹配为：

将该语音与运行时标签库中属于当前可视范围内的各界面元素的标签一一匹配。

7.根据权利要求1所述的方法，其特征在于，所述匹配上之后、对匹配的元素标签进行语义分析之前进一步包括：

判断匹配的标签是否可见，若是，执行所述对匹配的元素标签进行语义分析的动作；否则，不作进一步处理。