[发明专利]对话机器人的测试方法和装置

说明书

本发明提出一种对话机器人的测试方法和装置，其中，方法包括：获取对话机器人发送的触发文本；从标注文本集中获取用于答复所述触发文本的返回文本及所述返回文本的标注意图数据，并将所述返回文本发送至所述对话机器人，其中，所述标注文本集采用图形数据库进行维护；获取所述对话机器人生成的识别意图数据，所述识别意图数据为所述对话机器人的自然语言理解NLU算法服务对所述返回文本进行处理后生成的意图数据；将所述识别意图数据与所述标注意图数据进行对比，以得到测试结果。本发明解决了现有技术中测试对话机器人时无法和对话机器人进行完整轮次的互动问答以及测试集维护成本较高的问题。

技术领域

本发明涉及对话机器人技术领域，尤其涉及一种对话机器人的测试方法、测试装置、计算机设备、存储介质和计算机程序产品。

背景技术

智能对话机器人已经在在各个行业都有很多的应用，极大地便捷了人们的生活，例如应用于催收场景、精准营销场景、客户需求调查场景等等。在这些应用场景中都需要用到自然语言理解(Natural Language Understanding，NLU) 模型和对话管理(DialogManagement，DM)。针对各应用场景，需要通过不停增加预料分类，扩容NLU算法模型的意图识别准确率，并完善DM的丰富度。另外，对业务使用过程中遇见的问题，需要对NLU算法模型和DM话术配置进行优化迭代。针对每个迭代优化版本的NLU算法模型和DM话术配置，需要经过充分地测试才能投入生产使用。

目前，对话机器人的现有测试方案一般为使用脚本，从意图分类集中选取其中的一个或者多个意图词条，验证对话机器人的NLU算法模型的意图识别及DM话术配置，最终计算其准确率。

然而，现有的对话机器人测试方法存在如下问题：

1)针对NLU算法模型的测试，需要一批大量经过人工标注过的数据作为标准测试集来验证模型的准确率和误差，且测试集往往采用数据表的进行维护，维护成本较高；

2)只能根据选定的意图词条测试该意图词条下单个DM节点的意图语句，由此，无法和对话机器人进行完整轮次的互动问答。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种对话机器人的测试方法，以实现在与对话机器人的模拟对话过程中完成对话机器人的NLU算法模型和DM话术管理的测试，解决现有技术中在测试对话机器人时无法和对话机器人进行完整轮次的互动问答以及测试集维护成本较高的问题。

本发明的第二个目的在于提出一种对话机器人的测试装置。

本发明的第三个目的在于提出计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种对话机器人的测试方法，包括：

获取对话机器人发送的触发文本；

从标注文本集中获取用于答复所述触发文本的返回文本及所述返回文本的标注意图数据，并将所述返回文本发送至所述对话机器人，其中，所述标注文本集采用图形数据库进行维护；

获取所述对话机器人生成的识别意图数据，所述识别意图数据为所述对话机器人的自然语言理解NLU算法服务对所述返回文本进行处理后生成的意图；

将所述识别意图数据与所述标注意图数据进行对比，以得到测试结果。

在本公开的一个实施例之中，所述触发文本由所述对话机器人的对话管理 DM话术管理服务模块提供，在所述获取对话机器人发送的触发文本之前，还包括：