[发明专利]基于交互界面的对话方法及系统

权利要求书

1.一种基于交互界面的对话系统，包括：

动作执行器，用于对输入的对话指令以及图形交互界面语义理解，基于对话历史预测所述对话指令在所述图形交互界面中操作的目标项目和/或滑动方向，得到所述对话指令在所述图形交互界面中预测操作轨迹，作为所述对话指令的操作步骤进行执行，其中，所述动作执行器的训练过程包括：

将对话历史和与所述对话历史相关联的带有基准操作轨迹的图形交互界面中的多个项目作为动作执行器的输入，其中，所述项目包括：文本内容、项目类别，

对所述对话历史和所述文本内容语义理解，基于多个不同的分类器判断在所述图形交互界面中操作的项目类别、目标项目、滑动方向，得到预测操作轨迹，

基于所述基准操作轨迹和所述预测操作轨迹对所述对话系统进行训练，直至所述预测操作轨迹趋近于所述基准操作轨迹；

对话生成模块，用于利用完成所述操作步骤的图形交互界面生成所述对话指令的回复。

2.根据权利要求1所述的对话系统，其中，所述多个不同的分类器包括：预测任务、预测目标项目、预测方向分类器。

3.根据权利要求1所述的对话系统，其中，在所述将对话历史和与所述对话历史相关联的带有基准操作轨迹的图形交互界面中的多个项目作为动作执行器的输入之前，所述动作执行器的训练过程还包括：收集所述对话历史和与所述对话历史相关联的基准操作轨迹，包括：

生成第一对话领域的第一对话指令，以供注释者在所述对话在图形交互界面中完成所述第一对话指令的操作步骤，并记录注释者完成所述第一对话指令每次操作的第一轨迹标注，以及每次操作后的图形交互界面；

接收由对话编写者编写的限制对话回合数、对话行为的第二对话领域的对话指令，以供注释者在所述对话在图形交互界面中完成所述第二对话指令，并记录注释者完成所述第二对话指令每次操作的第二轨迹标注，以及每次操作后的图形交互界面；

将所述第一轨迹标注、所述第二轨迹标注作为基准操作轨迹。

4.根据权利要求3所述的对话系统，其中，所述轨迹标注由光学字符识别确定。

5.根据权利要求1所述的对话系统，其中，所述项目类型包括：文本视图、图像视图、线性布局、图像按钮、按钮、编辑文本、切换视图、视图组、选中文本视图、相对布局、网络视图、图像、切换按钮、列表视图、框架布局、单选按钮、复选框。

6.根据权利要求1所述的对话系统，其中，所述对话生成模块的编码器与所述动作执行器共享相同的编码器，所述对话生成模块的解码器为多层的transformer解码器。

7.一种基于交互界面的对话方法，应用于包含根据权利要求1-6中任一项所述的对话系统的电子设备，包括：

将用户的对话指令输入至动作执行器，其中，所述动作执行器的训练过程包括：

将对话历史和与所述对话历史相关联的带有基准操作轨迹的图形交互界面中的多个项目作为动作执行器的输入，其中，所述项目包括：文本内容、项目类别，

对所述对话历史和所述文本内容语义理解，基于多个不同的分类器判断在所述图形交互界面中操作的项目类别、目标项目、滑动方向，得到预测操作轨迹，

基于所述基准操作轨迹和所述预测操作轨迹对所述对话系统进行训练，直至所述预测操作轨迹趋近于所述基准操作轨迹；

由所述动作执行器基于对话历史以及图形交互界面判断所述对话指令的操作步骤；

基于所述动作执行器对各操作步骤的执行，控制所述图形交互界面基于执行的各步骤变化；

直至所述各操作步骤完成时，对话生成模块基于完成所述各操作步骤的图形交互界面生成所述对话指令的回复。

8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7所述方法的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求7所述方法的步骤。