[发明专利]基于交互界面的对话方法及系统

说明书

本发明实施例提供一种基于交互界面的对话方法。该方法包括：将用户的对话指令输入至动作执行器；由动作执行器基于对话历史以及图形交互界面判断对话指令的操作步骤；基于动作执行器对各操作步骤的执行，控制图形交互界面基于执行的各步骤变化；直至各操作步骤完成时，对话生成模块基于完成各操作步骤的图形交互界面生成对话指令的回复。本发明实施例还提供一种基于交互界面的对话模型。本发明实施例提出了基于GUI的面向任务的对话模型，对GUI界面进行通用的语义建模，不依赖于特定的操作步骤，即便GUI界面发生变化，也可以自动化地在GUI界面中执行各种用户指令。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于交互界面的对话方法及系统。

背景技术

随着任务导向对话系统的快速发展。它们在客户服务，预订系统，尤其是智能个人助理中得到了广泛的应用。这些以任务为导向的对话系统：首先识别用户的意图，然后通过填充槽的过程提取必要的信息。完成任务后，代理会调用后端 api，例如查询数据库，并根据查询结果生成答案。

具体的，解析用户的语音输入，并自动化地执行购票、预订等任务。PIXELHELP系统可以在手机上自动执行系统设置相关的任务，如打开网络设置。SUGILITE系统通过记录用户在手机上的操作来自动化地复现某一个动作序列。VASTA系统利用OCR和目标检测技术来识别手机屏幕上的组件，并执行预先录制的用户脚本。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

上述举例的技术针对特定的应用编写执行规则，依赖于记录用户的操作序列生成操作脚本。在执行自动化任务时，没有去建模通用的GUI语义理解，而是依赖记录特定的操作序列，这就导致GUI发生变化或者使用新的应用时，之前记录的操作序列不能使用。

发明内容

为了至少解决现有技术中缺少对图形交互界面的语义理解，在图形交互界面发送变化时，之前记录的操作序列的步骤不能继续使用的问题。第一方面，本发明实施例提供一种基于交互界面的对话模型，包括：

动作执行器，用于对输入的对话指令以及图形交互界面语义理解，基于对话历史至少预测所述对话指令在所述图形交互界面中操作的目标项目和/或滑动方向，得到所述对话指令在所述图形交互界面中预测操作轨迹，作为所述对话指令的操作步骤进行执行；

对话生成模块，用于利用完成所述操作步骤的图形交互界面生成所述对话指令的回复。

第二方面，本发明实施例提供一种基于交互界面的对话方法，包括：

将用户的对话指令输入至动作执行器；

由所述动作执行器基于对话历史以及图形交互界面判断所述对话指令的操作步骤；

基于所述动作执行器对各操作步骤的执行，控制所述图形交互界面基于执行的各步骤变化；

直至所述各操作步骤完成时，对话生成模块基于完成所述各操作步骤的图形交互界面生成所述对话指令的回复。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于交互界面的对话方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于交互界面的对话方法的步骤。

本发明实施例的有益效果在于：基于GUI的面向任务的对话模型，在真实应用程序上用GUI操作取代了传统的API调用。其优点是，当后端API不可用时，智能代理仍然可以执行任务。此外，它不依赖于特定域的模式，这意味着它可以轻松地转移到新的域，即便GUI界面发生变化，也可以自动化的在GUI界面中执行各种用户指令。