[发明专利]对话机器人的测试方法和装置

权利要求书

1.一种对话机器人的测试方法，其特征在于，包括：

获取对话机器人发送的触发文本；

从标注文本集中获取用于答复所述触发文本的返回文本及所述返回文本的标注意图数据，并将所述返回文本发送至所述对话机器人，其中，所述标注文本集采用图形数据库进行维护；

获取所述对话机器人生成的识别意图数据，所述识别意图数据为所述对话机器人的自然语言理解NLU算法服务对所述返回文本进行处理后生成的意图数据；

将所述识别意图数据与所述标注意图数据进行对比，以得到测试结果。

2.根据权利要求1所述的对话机器人的测试方法，其特征在于，所述触发文本由所述对话机器人的对话管理DM话术管理服务模块提供，在所述获取对话机器人发送的触发文本之前，还包括：

根据用户选择的DM话术库版本号和NLU算法版本号，确定待测试的DM话术库版本和NLU算法版本，以生成至少一个测试任务；

其中，所述NLU算法服务为所述NLU算法版本号所对应的NLU算法模型，所述获取对话机器人发送的触发文本，包括：

根据所确定的DM话术库版本向所述对话机器人发送对话请求；

获取所述对话机器人返回的所述DM话术库版本所对应的DM话术库的预设对话文本，并将所述预设对话文本确定为所述触发文本。

3.根据权利要求2所述的对话机器人的测试方法，其特征在于，在所述获取对话机器人发送的触发文本之后，还包括：

判断所述触发文本是否为所述DM话术库的结束语；

如果所述触发文本为所述DM话术库的结束语，则结束当前轮次对话；

如果所述触发文本不为所述DM话术库的结束语，则进一步从标注文本集中获取用于答复所述触发文本的返回文本及所述返回文本的标注意图数据。

4.根据权利要求2所述的对话机器人的测试方法，其特征在于，在将所述返回文本发送至所述对话机器人之后，还包括：

获取所述对话机器人发送的后续触发文本；

判断所述后续触发文本是否为所述DM话术库的结束语；

如果所述后续触发文本不为所述DM话术库的结束语，则将所述后续触发文本作为新的触发文本，进一步根据所述后续触发文本生成后续返回文本，并发送至所述对话机器人，直至所述对话机器人返回的后续触发文本为所述结束语。

5.根据权利要求2所述的对话机器人的测试方法，其特征在于，还包括：

将所述至少一个测试任务的任务关键字添加至远程字典服务器的消息队列，其中，所述任务关键字用于至少指示测试任务的测试对象和/或测试轮次；

采用分布式任务处理器对所述消息队列进行监听，其中，如果从所述消息队列中监听到新的任务关键字，则分配对应的执行单元完成所述新的任务关键字指示的测试任务。

6.根据权利要求5所述的对话机器人的测试方法，其特征在于，针对每个测试任务，所述测试对象为多个和/或所述测试轮次为多次，所述方法还包括：

在所述每个测试任务对应的执行单元中，所述分布式任务处理器根据所述多个测试对象和/或所述多个测试轮次启用相应数目的协程并行完成所述每个测试任务。

7.根据权利要求6所述的对话机器人的测试方法，其特征在于，还包括：

对执行所述测试任务时得到的至少一个测试结果进行汇总，以生成所述测试任务对应的总测试结果，其中，所述总测试结果包括所述测试任务对应的NLU意图识别准确率。

8.根据权利要求5-7任一项所述的对话机器人的测试方法，其特征在于，所述分布式任务处理器采用Dramatiq框架。