[发明专利]一种基于界面元素辅助语音交互的方法、系统及存储介质

权利要求书

1.一种基于界面元素辅助语音交互的方法，其特征在于，包括：

监测界面变化，获取当前界面以及与之相邻界面上的静态元素和动态元素；

解析所获取的静态元素和动态元素，并发出操作提示；

所述解析所获取的静态元素和动态元素，并发出操作提示，之后包括：

接收语音信息并解析，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素；

若未匹配到与解析后语音信息相关联的静态元素或动态元素，发出错误提示；

接收语音信息并解析，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素，具体包括：

接收语音信息，并解析所接收语音信息对应的指令类别；

根据指令类别从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素；

若所解析后语音信息为操作性指令，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素，之后还包括：

若能匹配到与解析后语音信息相关联的静态元素或动态元素，定位所匹配的静态元素或动态元素的界面坐标，发送点击事件至所定位的界面坐标；

在直接发出语音信息时，会直接识别所述语音信息是否有效，若所述语音信息有效，则界面元素会被触发，或者界面发生跳转；若所述语音信息无效，则在当前界面上提示相应的语音信息及操作。

2.根据权利要求1所述的基于界面元素辅助语音交互的方法，其特征在于，若未匹配到与解析后语音信息相关联的静态元素或动态元素，发出错误提示，之后包括：

逐一检索同一应用程序的其它界面上的静态元素和与之对应的动态元素；

判断其它界面上是否存在与解析后语音信息相匹配的静态元素或动态元素；

若存在与解析后语音信息相匹配的静态元素或动态元素，发出跳转到对应界面的提示。

3.根据权利要求2所述的基于界面元素辅助语音交互的方法，其特征在于，判断其它界面上是否存在与解析后语音信息相匹配的静态元素或动态元素，之后还包括：

若其他界面上不存在与解析后语音信息相匹配的静态元素或动态元素；

逐一检索其它应用所在界面上的静态元素和动态元素；

判断是否存在与解析后语音信息相匹配的静态元素或动态元素；

若存在与解析后语音信息相匹配的静态元素或动态元素，发出启动该应用的提示。

4.根据权利要求1所述的基于界面元素辅助语音交互的方法，其特征在于，若所解析后语音信息为非操作性指令，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素，之后还包括：

若能匹配到与解析后语音信息相关联的静态元素或动态元素，自动打开所匹配的静态元素或动态元素所在界面。

5.根据权利要求1所述的基于界面元素辅助语音交互的方法，其特征在于，所述监测界面变化，获取当前界面以及与之相邻界面上的静态元素和动态元素，其中，所述动态元素通过服务器获取，且预存在本地数据库中，之后包括：

在达到预设条件时，所述动态元素自动销毁；

所述预设条件为若离开当前界面，或所调取动态元素的时长超过预设时长阈值，或动态元素的存储量达到预设存储阈值。

6.一种基于界面元素辅助语音交互的系统，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-5中任一项所述的基于界面元素辅助语音交互的方法。

7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1-5任一项所述的基于界面元素辅助语音交互的方法。