[发明专利]基于语音的交互方法、装置、电子设备及操作系统

说明书

本申请公开了一种基于语音的交互方法，一种基于语音的交互装置，一种电子设备，以及一种操作系统。其中，所述基于语音的交互方法，包括：将接收到的语音信息转换成操作指令；通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。上述方法由于采用了发送触控事件的方式，开发人员无需对程序代码作任何语音方面的适配工作，就可以支持语音操作，一方面大大减少了开发人员的工作量，另一方面，也实现了应用窗口以及系统窗口对语音交互方式的支持，促进语音交互方式在电子设备上的推广应用。

技术领域

本申请涉及交互方法，具体涉及一种基于语音的交互方法。本申请同时涉及一种基于语音的交互装置，一种电子设备，以及一种操作系统。

背景技术

语音是人类惯于使用的交流方式，与其他交流手段相比不仅更加自然，而且具有认知负荷小，资源占用少和交互效率高等优点。随着HMM模型和人工神经元网络等技术在语音识别中的成功应用，语音作为一种强大随意的控制入口，目前已经在个人电脑、移动通讯终端等各种电子设备中得到了广泛应用，用户通过录入语音，就可以在电子设备上执行所需的查询、搜索、拨打电话等操作，方便用户的使用。

现有的语音交互方式，通常需要对电子设备中支持语音操作的应用程序进行定制，语音交互过程包括以下处理环节：经过定制的应用程序显示支持语音操作的窗口后，会向操作系统提供的语音服务注册该窗口所支持的语音指令集合；当语音服务接收用户输入的语音信息后，若检测出语音信息与该应用程序已注册的语音指令集中的某语音指令相符，则将语音信息转换成相应的控制指令发送给该应用程序的相应窗口，应用程序通过预先定制的代码进行响应；当应用程序退出支持语音操作的窗口时，则向语音服务注销相应的语音指令集合。

由此可见，现有的语音交互实现方式，若需要应用程序的某窗口支持语音交互，那么需要添加至少以下三方面的操作逻辑：注册语音指令集合、注销语音指令集合、根据接收到的控制指令进行相应的处理。如果应用程序中的两个或者两个以上窗口都有支持语音操作的需求，那么开发人员则需要针对各窗口执行上述定制操作，工作量通常很大，导致了现在的应用程序难以对语音操作提供完善的语音操作支持，阻碍语音交互方式在电子设备上的推广应用。

发明内容

本申请实施例提供一种基于语音的交互方法和装置，以解决现有技术需要对支持语音的应用窗口逐一进行定制导致的、开发人员工作量大以及应用程序难以提供完善的语音支持的问题。本申请实施例还提供一种基于语音的交互装置，一种电子设备，以及一种操作系统。

本申请提供一种基于语音的交互方法，包括：

将接收到的语音信息转换成操作指令；

通过查询显示窗口包含的界面元素信息，确定可响应所述操作指令的界面元素；

采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令。

可选的，所述界面元素包括：可供操作的控件；所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息。

可选的，所述采用发送触控事件的方式，触发已确定的界面元素响应所述操作指令，包括：

根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，以触发所述界面元素所属窗口执行相应的处理操作。

可选的，所述界面元素信息包括：界面元素的类型、对应于所述类型的预设属性的值、和标识界面元素的信息；所述标识界面元素的信息包括：界面元素的布局信息；

所述根据所述操作指令，向已确定的界面元素所属窗口发送针对所述界面元素的触控事件，包括针对每个已确定的界面元素执行下述操作：

至少根据所述界面元素的布局信息，确定对应于所述界面元素的触控位置；