[发明专利]基于语音的交互方法、装置、电子设备及操作系统

权利要求书

1.一种基于语音的交互方法，其特征在于，包括：

将接收到的语音信息转换成操作指令；

通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；

采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。

2.根据权利要求1所述的方法，其特征在于，所述界面元素包括：可供操作的控件；所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息。

3.根据权利要求1所述的方法，其特征在于，所述采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令，包括：

根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。

4.根据权利要求3所述的方法，其特征在于，所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息；所述标识界面元素的信息包括：界面元素的布局信息；

所述根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，包括针对每个已确定的界面元素执行下述操作：

至少根据所述界面元素的布局信息，确定对应于所述界面元素的触控位置；

模拟手动输入设备向操作系统上报针对所述触控位置的触控事件；

窗口管理服务将接收到的针对所述触控位置的触控事件，转换成针对所述界面元素的触控事件，并向所述界面元素所属窗口发送所述触控事件。

5.根据权利要求4所述的方法，其特征在于，所述界面元素的布局信息包括：界面元素在显示屏幕中的位置和界面元素的尺寸信息。

6.根据权利要求4所述的方法，其特征在于，所述手动输入设备包括：触摸屏，或者鼠标。

7.根据权利要求1所述的方法，其特征在于，在所述将接收到的语音信息转换成操作指令之前，包括：

通过监控窗口管理服务在显示窗口发生变更时的处理过程，记录显示窗口包含的界面元素信息；

所述查询显示窗口包含的界面元素信息，包括：

查询基于上述监控方式记录的显示窗口包含的界面元素信息。

8.根据权利要求1所述的方法，其特征在于，所述将接收到的语音信息转换成操作指令，包括：

通过语音识别将接收到的语音信息转换成文字形式的指令；

通过语义分析和基于模板的匹配操作，将所述文字形式的指令转换成操作指令。

9.根据权利要求1所述的方法，其特征在于，所述操作指令的内容包括：被操作界面元素的类型、和操作描述信息。

10.根据权利要求1所述的方法，其特征在于，所述显示窗口包括：预设类型的显示窗口；所述预设类型的显示窗口包括：应用窗口、和/或系统窗口。

11.根据权利要求10所述的方法，其特征在于，所述预设类型的显示窗口包括：预设类型的顶层显示窗口。

12.根据权利要求11所述的方法，其特征在于，所述预设类型的顶层显示窗口包括：顶层应用窗口；所述顶层应用窗口的数量为1；

所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：通过查询顶层应用窗口包含的界面元素信息，确定所述顶层应用窗口中、可响应所述操作指令的界面元素。

13.根据权利要求1所述的方法，其特征在于，所述显示窗口的数量大于等于1；

所述通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素，包括：

遍历各显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素。