[发明专利]一种基于界面元素辅助语音交互的方法、系统及存储介质

说明书

本发明所提供的一种基于界面元素辅助语音交互的方法、系统及存储介质，所述方法包括：监测界面变化，获取当前界面以及与之相邻界面上的静态元素和动态元素；解析所获取的静态元素和动态元素，并发出操作提示。实现了智能终端自动为用户提供语音帮助，以便于用户根据操作提示发出相应的语音信息以操作智能终端，进而方便用户与智能终端间进行语音交互，为用户使用智能终端带来了便利。

技术领域

本发明涉及语音交互技术领域，尤其涉及的是一种基于界面元素辅助语音交互的方法、系统及存储介质。

背景技术

现有的智能终端基本上都搭载了语音交互系统，以常见的智能电视为例，用户在通过语音命令智能电视时，用户需要发出语音指令，智能电视判断用户所发出的语音指令即可执行相应的操作。

但常见的问题便是：用户在与智能电视进行语音交互时，常常不知该如何进行语言表述才能够触发智能电视执行用户所需要的操作，往往是智能电视并不能够有效地识别用户所发出的语音信息，进而智能电视只能够发出一系列的执行错误提示，以此，造成了用户与智能电视语音交互的不畅，为用户通过语音控制智能电视带来了极大的不便。

因此，现有技术存在缺陷，有待改进与发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于界面元素辅助语音交互的方法、系统及存储介质，旨在解决现有技术中用户在与智能终端进行语音交互时，常常不知该如何进行语言表述才能够触发智能终端执行用户所需要的操作，造成了用户与智能终端语音交互的不畅，为用户通过语音控制智能终端带来极大不便的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于界面元素辅助语音交互的方法，其中，包括：

监测界面变化，获取当前界面以及与之相邻界面上的静态元素和动态元素；

解析所获取的静态元素和动态元素，并发出操作提示。

进一步地，解析所获取的静态元素和动态元素，并发出操作提示，之后包括：

接收语音信息并解析，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素；

若未匹配到与解析后语音信息相关联的静态元素或动态元素，发出错误提示。

进一步地，若未匹配到与解析后语音信息相关联的静态元素或动态元素，发出错误提示，之后包括：

逐一检索同一应用程序的其它界面上的静态元素和与之对应的动态元素；

判断其它界面上是否存在与解析后语音信息相匹配的静态元素或动态元素；

若存在与解析后语音信息相匹配的静态元素或动态元素，发出跳转到对应界面的提示。

进一步地，判断其它界面上是否存在与解析后语音信息相匹配的静态元素或动态元素，之后还包括：

若其他界面上不存在与解析后语音信息相匹配的静态元素或动态元素；

逐一检索其它应用所在界面上的静态元素和动态元素；

判断是否存在与解析后语音信息相匹配的静态元素或动态元素；

若存在与解析后语音信息相匹配的静态元素或动态元素，发出启动该应用的提示。

进一步地，接收语音信息并解析，从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素，具体包括：

接收语音信息，并解析所接收语音信息对应的指令类别；

根据指令类别从所获取的静态元素和动态元素中匹配与解析后语音信息相关联的静态元素或动态元素。