[发明专利]一种基于语义理解相似度阀值配置的测试方案及系统

权利要求书

1.一种基于语义理解相似度阀值配置的测试方案，其特征在于，步骤如下：

读取预配置的话术场景数据和词库数据，得到用户输入数据；

轮循并将所述用户输入数据输入虚拟对话模块，得到对应的输出回答；

将所述输出回答与预配置的期望回答依次对比计算得到语义相似度，并设定当所述输出回答与期望回答一致时的语义相似度为1，当所述输出回答与期望回答不一致时的语义相似度小于1；

将语义相似度小于1的语义相似度范围收敛得到替换阈值；

在阈值配置模块中，将语义模型算法的设定阈值替换为所述替换阈值。

2.根据权利要求1所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，所述用户输入数据包括：

对词库数据进行拆分得到的数据；

基于话术场景下输入的数据；以及，

将用户实时输入的非完整语句进行拼接完整后得到的数据。

3.根据权利要求1或2所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，还包括，

将语义相似度小于1的输出回答记为失败答复数据，所述失败答复数据与所述输出回答之比为失败答复率；

统计所述失败答复数据中的错误答复数据，将所述错误答复数据与所述输出回答之比记为错误答复率，同时将错误答复数据所对应的语义相似度范围记为错误答复相似度范围。

4.根据权利要求3所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，还包括，

统计所述失败答复数据中的兜底答复数据，将所述兜底答复数据与所述输出回答之比记为兜底答复率。

5.根据权利要求3所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，

得到替换阈值的步骤为：

采用二分法在所述错误答复相似度范围内提取中间阈值，所述中间阈值与错误答复相似度范围上限或下限之差的绝对值为调整值；

在中间阈值与所述错误答复相似度范围的上限范围内提取新的中间阈值；并循环取得新的中间阈值，直至调整值等于或逼近预设调整值门限；

将多个中间阈值分别配置为阈值配置模块中语义模型算法的设定阈值，并轮循用户输入数据作为虚拟对话模块的输入，分别得到基于多个中间阈值的输出回答；

在多个中间阈值中选择其中一个中间阈值作为替换阈值。

6.根据权利要求1所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，

所述语义相似度是通过文本聚类分析算法、LDA分析算法或DSSM算法中的一种或多种得到的。

7.根据权利要求1所述的一种基于语义理解相似度阀值配置的测试方案，其特征在于，还包括，

根据所述输出回答和上下文算法自动插入补充词，所述补充词包括代词和礼貌短语。

8.一种基于语义理解相似度阀值配置的测试系统，其特征在于，包括，

数据库模块，用于储存话术场景数据、词库数据和期望回答；

虚拟对话模块，用于基于设定阈值将输入的用户输入数据对应得到输出回答；

相似度计算模块，用于计算输出回答与期望回答的语义相似度；

阈值收敛模块，用于根据预设算法将错误答复相似度范围收敛得到替换阈值；

阈值配置模块，用于存储并将替换阈值配置为设定阈值；

数据拆分模块，用于对词库数据进行拆分；

统计模块，用于计算失败答复率、错误答复率和兜底答复率。

9.一种计算机设备，其特征在于，包括，

一个或多个处理器；

存储器，用于存储一个或多个程序，使得一个或多个处理器实现权利要求1-7任意一项所述的测试方案。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的测试方案。