[发明专利]优化意图识别置信度阈值的方法、装置及存储介质

说明书

本发明公开了一种优化意图识别置信度阈值的方法、装置及存储介质，属于人机交互机器人领域。优化意图识别置信度阈值的方法，包括：设置n个阈值Ft，1=t=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。本发明解决了现有技术中的人工设置意图识别置信度阈值所依赖的个人感性经验，提升会话机器人的自然语言的理解能力，本发明可以实现自动定期更新阈值，且数据更合理，以使得对话机器人的意图识别准确度、识别率高。

技术领域

本发明涉及人机交互机器人领域，具体地说，涉及一种优化意图识别置信度阈值的方法、装置及存储介质。

背景技术

人机对话机器人在使用过程中，会涉及到用户语言的意图识别。根据实现训练的模型，会对句子给出不同意图的置信度，当其高于特定阈值时，系统可明确该句子所表达的意图，低于阈值时，则进入意图不识别状态。阈值设置过低，会导致意图识别误差偏大，阈值设置过高，则会导致意图识别率过低。而且随时间、应用场景的变化，也会导致最初预设的表现良好的意图识别阈值不适合新环境。

如何自动定期更新、且更合理的阈值，以使得对话机器人意图识别准确度、识别率长期处于较优状态，是急需解决的技术问题。

发明内容

本申请提供一种优化意图识别置信度阈值的方法、装置及存储介质，以解决固定阈值导致意图识别准确度、识别率低的问题。

第一方面，本申请公开了一种优化意图识别置信度阈值的方法，包括：

设置n个阈值Ft，1=t=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；

将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。

进一步的技术方案，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值包括以下步骤：

步骤（1）：运行意图识别模型，记录每条人机会话内容、该会话内容的意图识别结果以及对应的意图识别置信度值Ctx；

步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：

如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话；

如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话系统通过追问方式询问用户意图是否为Ix后，用户给予肯定回答或者后续人机交互按照既定故事基本操作进行，则判定用户实际意图为Ix；

步骤（3）：通过公式（1）计算意图识别召回率，通过公式（2）计算准确率，进而计算整体效益值：

召回率（1）

准确率（2）

式中，ix0、ix1、ix2的默认值为0，当ix0=1时，表示阈值以上识别正确；ix1=1时，表示阈值以下识别正确；ix2=1时，表示阈值以上识别错误；

整体效益值Bt=Rt*Pt。

进一步的技术方案，所述意图识别最优阈值Ftmax的确定方法如下：

确定不同的阈值Ft中对应的整体效益值为最大值Bmax时，该阈值作为最优阈值Ftmax；其中，Bmax需满足如下条件：Bmax取值对应的召回率、准确率高于预先设置的最低值；且Bmax是满足前述情况下的各整体效益值Bt中的最大值。