[发明专利]一种车载多模交互方法

说明书

本发明公开了车载智能控制领域内的一种车载多模交互方法，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令；步骤4，无障碍服务应用与应用程序进行交互应用；主机中新增无障碍服务应用，无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作，语音识别应用将语音指令派发给到无障碍服务应用，无障碍服务应用找到匹配语音指令的描述内容，并检索当前页面元素中是否存在对应的描述内容，如果查找到则执行点击事件，帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。

技术领域

本发明涉及汽车软件领域内的车载多模交互方法。

背景技术

现有的语音交互方案是语音识别应用将车主的语音内容转换成文字指令，然后调用交互应用的接口进行指令操作，这种方式需要交互应用提供大量接口，且不同的交互应用提供接口不一样，同时语音识别应用需要进行大量的接口联调适配工作。当前语音交互方式不利于主机厂定义统一的交互接口，且适配工作量大。

发明内容

本发明的目的是提供一种车载多模交互方法，在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，能减少语音识别应用接口联调适配工作。

为实现上述目的，本发明提供了一种车载多模交互方法，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令； 步骤4，无障碍服务应用与应用程序进行交互应用。

与现有技术相比，本发明的有益效果在于，主机中新增无障碍服务应用，无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作，语音识别应用将语音指令派发给到无障碍服务应用，无障碍服务应用找到匹配语音指令的描述内容，并检索当前页面元素中是否存在对应的描述内容，如果查找到则执行点击事件，帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。

作为本发明的进一步改进，无障碍服务应用为安卓系统下自带的无障碍服务应用，应用程序页面为安卓系统下的标准化页面；这样可以借助成熟的软件应用进行承载程序之间的应用交互，更加方便。

作为本发明的进一步改进，步骤2的具体内容如下，

应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给AccessibilityManagerService， AccessibilityManagerService对该信息进行读取识别后发送给无障碍服务应用，并由此监听应用程序页面变化。

这样能够利用无障碍服务应用识别应用程序页面的层析结构信息，进而为识别匹配用户的语音指令做准备。

作为本发明的进一步改进，步骤3具体内容如下，

由用户下达针对应用程序的语音指令，该语音指令发送给车载语音识别应用，通过车载语音识别应用对该语音指令进行语音识别，并将识别后的语音指令发送给无障碍服务应用。

这样，可以通过无障碍服务应用通过车载语音识别应用接收用户下达的语音指令，以便与监听的应用程序页面进行交互。

作为本发明的进一步改进，步骤4的具体内容如下，

无障碍服务应用收到该语音指令并进行识别，通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述，若找到匹配的描述，则进行虚拟点击，执行语音指令；若找不到匹配语音指令的描述，则发出语音提示后，由用户发出下一道语音指令，重复步骤3-4，直至能够查找到与最新语音指令相匹配的描述，并进行虚拟点击，执行语音指令。

这样通过无障碍服务应用与应用程序页面实现软件层面的交互，减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。