[发明专利]评估自动对话服务的重新训练推荐

权利要求书

1.一种方法，包括：

通过计算机系统访问多个对话日志，所述多个对话日志中的每一个记录多个用户中的单独用户与对话服务之间的单独对话、以及用所述单独对话识别的至少一个结果；

在所述至少一个结果与多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型匹配的情况下，通过计算机系统从所述多个对话日志中评估至少一个对话间隙和响应；

通过计算机系统评价一个或多个推荐，用于重新训练响应以促进所述多种结果类型当中的正面的结果类型；以及

通过计算机系统向对话服务输出所述一个或多个推荐以指导对话服务对响应的重新训练。

2.根据权利要求1所述的方法，还包括：

通过计算机系统访问所述多个对话日志，所述多个对话日志中的每一个记录所述单独对话、用所述单独对话识别的所述至少一个结果以及环境元数据，该环境元数据包括从与支持所述单独对话的对话接口相关的应用接口收集的用户信息；以及

在所述至少一个结果与多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型和环境元数据匹配的情况下，通过计算机系统从所述多个对话日志中评估所述至少一个对话间隙和响应。

3.根据权利要求1所述的方法，其中，在所述至少一个结果与多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型匹配的情况下，通过计算机系统从所述多个对话日志中评估至少一个对话间隙和响应还包括：

基于在每个单独对话中的特定点处的所述至少一个结果达到转变阈值，通过计算机系统来标记指示在所述特定点处的负面用户体验的至少一个主要转变；

响应于对话服务针对在特定响应之前来自所述单独用户的用户输入的文本段所识别的特定意图，通过所述计算机系统来识别所述对话服务在所述特定点处返回的所述特定响应；以及

通过计算机系统将所述至少一个主要转变和所述特定响应识别为所述至少一个对话间隙和响应。

4.根据权利要求1所述的方法，其中，在所述至少一个结果与多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型匹配的情况下，通过计算机系统从所述多个对话日志中评估至少一个对话间隙和响应还包括：

通过计算机系统识别由对话服务实现的多个意图的集合，所述多个意图中的每一个指示用户输入的预期目的；

通过计算机系统识别由对话服务实现的多个响应的集合，所述多个响应中的每个响应与所述多个意图当中的至少一个意图匹配；

通过计算机系统将所述多个意图中的意图的选择映射到在所述多个对话日志中的每一个中识别出的所述多个响应中的响应的选择；

通过计算机系统分析所述多个对话日志的多个片段中的每个片段的单独语调；以及

通过计算机系统识别所述多个片段中的第一片段到后续片段的标识符和单独语调的水平中的一个或多个的至少一个主要转变以及任务放弃，第一片段到后续片段的标识符和单独语调的水平中的一个或多个的所述至少一个主要转变以转变阈值中指定的任务放弃作为向下主要转变，所述至少一个主要转变指示所述至少一个结果与所述多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型匹配。

5.根据权利要求4所述的方法，其中，通过计算机系统识别所述多个片段中的第一片段到后续片段的标识符和单独语调的水平中的一个或多个的至少一个主要转变以及任务放弃，第一片段到后续片段的标识符和单独语调的水平中的一个或多个的所述至少一个主要转变以转变阈值中指定的任务放弃作为向下主要转变，所述至少一个主要转变指示所述至少一个结果与所述多种结果类型当中的指示响应以负面方式影响了用户体验的结果类型匹配还包括：

通过计算机系统识别所述多个片段中的第二片段到第二后续片段的标识符和单独语调的水平中的一个或多个的至少一个向上转变以及任务完成；

通过计算机系统在每个至少一个主要转变之前从意图的选择和每个相关联的响应中捕获一个或多个起始意图的单独窗口；以及

通过计算机系统从所述一个或多个起始意图中识别意图的下一选择，以进行分析用于重新训练与意图的下一选择中的每个意图相关联的响应，来促进所述多种结果类型当中的正面的结果类型。