[发明专利]智能问答系统测试方法、装置、电子设备及存储介质

说明书

本发明涉及人工智能技术，揭露一种智能问答系统测试方法、装置、电子设备以及存储介质，其方法包括：接收第一问题文本集及陈述文本集，从所述第一问题文本集中剔除不符合应用场景的问题文本得到第二问题文本集，从所述第二问题文本集中提取指定数量的问题文本得到第三问题文本集，分别生成与所述第三问题文本集对应的多类标签及与所述陈述文本集对应的多类标签，接收咨询文本，根据所述多类标签从所述第三问题文本集或所述陈述文本集中选择得到与所述咨询文本对应的匹配文本，使用所述匹配文本对所述智能问答系统进行测试，得到与所述匹配文本对应的回答文本，完成测试。本发明可解决无法评估问答系统在不同类型文本下测试效果的问题。

技术领域

本发明涉及人工智能技术，尤其涉及一种智能问答系统测试方法、装置、电子设备及计算机可读存储介质。

背景技术

伴随人工智能技术的发展，推动了智能问答系统的发展，当下智能问答系统一般先接收用户输入的文本，并利用深度学习、机器学习模型匹配出与该文本对应的回答。

一方面，智能问答系统极大方便了人们的日常生活，但另一方面，智能问答系统在面向用户之前，对于其测试也极其重要，目前关于智能问答系统常用的测试手段主要模仿用户所输入的疑问句测试文本，查看智能问答系统是否能给予对应输出，可以见得，测试过程中，将测试文本均默认为疑问句测试文本，但实际中智能问答系统可能会接收到用户所输入的陈述类语句，因此对智能问答系统的测试不够全面，从而导致无法评估问答系统在不同类型文本下的测试效果，故无法达到更为全面、系统的测试。

发明内容

本发明提供一种智能问答系统测试方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决无法评估问答系统在不同类型文本下的测试效果，导致无法达到更为全面、系统的测试问题。

为实现上述目的，本发明提供的一种智能问答系统测试方法，包括：

接收智能问答系统的测试指令，根据所述测试指令收集问题文本及陈述文本，得到第一问题文本集及陈述文本集；

从所述第一问题文本集中，剔除不符合所述智能问答系统所在应用场景的问题文本，得到第二问题文本集；

从所述第二问题文本集中提取指定数量的问题文本，得到多个问题文本子集，对每个所述问题文本子集均执行语义相关度检测，并选择语义相关度高于指定阈值的任意一条问题文本并汇总得到第三问题文本集；

生成与所述第三问题文本集对应的多类标签及与所述陈述文本集对应的多类标签；

接收用户输入至所述智能问答系统的咨询文本，对所述咨询文本执行标签预测，得到多组预测标签；

从多组所述多类标签中提取与多组所述预测标签的相似度高于预设阈值的标签集，根据所述标签集从所述第三问题文本集或所述陈述文本集中选择得到与所述咨询文本对应的匹配文本；

使用所述匹配文本对所述智能问答系统进行测试，得到与所述匹配文本对应的回答文本，完成测试。

可选地，所述从所述第一问题文本集中，剔除不符合所述智能问答系统所在应用场景的问题文本，得到第二问题文本集，包括：

接收用户根据所述智能问答系统所在应用场景而输入的场景关键字集；

计算所述场景关键字集的关键字数量，构建与所述关键字数量相同数量的簇中心集；

将所述第一问题文本集执行向量化操作，得到第一问题向量集；

根据聚类算法及所述簇中心集，对所述第一问题向量集执行聚类，得到多组聚类向量集，并将多组所述聚类向量集发送至用户；

接收用户从多组所述聚类向量集中保留的聚类向量集，将保留的所述聚类向量集转化为文本，得到所述第二问题文本集。