[发明专利]一种基于语义理解相似度阀值配置的测试方案及系统

说明书

本发明公开了一种基于语义理解相似度阀值配置的测试方案及系统，涉及一种语义模型阈值配置方案，为了解决在固定的阀值设置下可能会导致机器人有些回答不够准确的技术问题，其中测试方案的步骤如下：读取预配置的话术场景数据和词库数据，得到用户输入数据；轮循并将所述用户输入数据输入虚拟对话模块，得到对应的输出回答；将所述输出回答与预配置的期望回答依次对比计算得到语义相似度，并设定当所述输出回答与期望回答一致时的语义相似度为1，当所述输出回答与期望回答不一致时的语义相似度小于1；将语义相似度小于1的语义相似度范围收敛得到替换阈值；在阈值配置模块中，将语义模型算法的设定阈值替换为所述替换阈值。

技术领域

本发明涉及一种语义模型阈值配置方案，特别是涉及一种基于语义理解相似度阀值配置的测试方案及系统。

背景技术

虚拟对话机器人平台主要为业务提供入口针对不同应用配置不同的场景话术和词库，配置完成后调用方可以通过调用对话机器人进行智能问答。智能问答的过程是业务将应用的话术和词库配置好后，机器人在接收到用户输入后，会将用户输入进行语义理解，理解之后的会将用户输入和现有话术场景进行匹配，匹配到话术后返回该匹配的话术回答和匹配的阀值。该阀值是根据语义模型算法计算后的结果。一般来说，阀值是由研发来定义一个标准，比如大于0.5相似度机器人会即刻返回回答，而小于0.5机器人会进一步进行匹配直到匹配到大于0.5阀值的回答。但是由于每个业务实际配置的场景话术和词库都不尽相同，需要符合该类业务场景下的话术和词库，而在固定的阀值设置下可能会导致机器人有些回答不够准确。

发明内容

本发明主要解决在固定的阀值设置下可能会导致机器人有些回答不够准确的技术问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于语义理解相似度阀值配置的测试方案，步骤如下：

读取预配置的话术场景数据和词库数据，得到用户输入数据；

轮循并将所述用户输入数据输入虚拟对话模块，得到对应的输出回答；

将所述输出回答与预配置的期望回答依次对比计算得到语义相似度，并设定当所述输出回答与期望回答一致时的语义相似度为1，当所述输出回答与期望回答不一致时的语义相似度小于1；

将语义相似度小于1的语义相似度范围收敛得到替换阈值；

在阈值配置模块中，将语义模型算法的设定阈值替换为所述替换阈值。

其中，所述用户输入数据包括：

对词库数据进行拆分得到的数据；

基于话术场景下输入的数据；以及，

将用户实时输入的非完整语句进行拼接完整后得到的数据。

其中，还包括，将语义相似度小于1的输出回答记为失败答复数据，所述失败答复数据与所述输出回答之比为失败答复率；

统计所述失败答复数据中的错误答复数据，将所述错误答复数据与所述输出回答之比记为错误答复率，同时将错误答复数据所对应的语义相似度范围记为错误答复相似度范围。

其中，还包括，统计所述失败答复数据中的兜底答复数据，将所述兜底答复数据与所述输出回答之比记为兜底答复率。

其中，得到替换阈值的步骤为：

采用二分法在所述错误答复相似度范围内提取中间阈值，所述中间阈值与错误答复相似度范围上限或下限之差的绝对值为调整值；

在中间阈值与所述错误答复相似度范围的上限范围内提取新的中间阈值；并循环取得新的中间阈值，直至调整值等于或逼近预设调整值门限；