[发明专利]相似问集合的评分方法、装置、计算机设备和存储介质

说明书

本申请涉及一种相似问集合的评分方法、装置、计算机设备和存储介质。所述方法包括：获取相似问集合，确定所述相似问集合中所包括的相似问语句的数量；分别对各个所述相似问语句进行向量编码得到各个句向量，确定各个所述句向量在所述相似问集合的语义空间中的目标分布情况；将所述目标分布情况与预设的均匀分布情况进行比较，确定所述目标分布情况与所述均匀分布情况之间的差异度；基于所述差异度和所述相似问语句的数量确定所述相似问集合的质量评分。采用本方法能够实现对相似问集合的质量进行准确检测。

技术领域

本申请涉及计算机技术领域，特别是涉及一种相似问集合的评分方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了文本识别、语音识别等技术，可以识别出输入的文本或者语音的意图。为了全面、准确地识别用户的意图，通常会建立相似问语句库，将相似问语句库中的相似问语句作为训练数据对识别模型进行训练。相似问语句是意图相同，表达方式不同的语句，例如“我没钱啊”、“我钱用完了”等。

在对识别模型进行训练之前，需要对相似问语句库中的相似问集合的质量进行评价。然而，目前没有对相似问集合的质量进行准确检测的方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实现对相似问集合的质量进行准确检测的相似问集合的评分方法、装置、计算机设备和存储介质。

一种相似问集合的评分方法，所述方法包括：

获取相似问集合，确定所述相似问集合中所包括的相似问语句的数量；

分别对各个所述相似问语句进行向量编码得到各个句向量，确定各个所述句向量在所述相似问集合的语义空间中的目标分布情况；

将所述目标分布情况与预设的均匀分布情况进行比较，确定所述目标分布情况与所述均匀分布情况之间的差异度；

基于所述差异度和所述相似问语句的数量确定所述相似问集合的质量评分。

在其中一个实施例中，所述分别对各个所述相似问语句进行向量编码得到各个句向量，确定各个所述句向量在所述相似问集合的语义空间中的目标分布情况，包括：

分别对各个所述相似问语句进行向量编码得到各个第一句向量；

对各个所述第一句向量进行降维处理，得到各个第二句向量；所述第二句向量的维度数量小于所述第一句向量的维度数量；

确定各个所述第二句向量在所述相似问集合的语义空间中的目标分布情况。

在其中一个实施例中，所述第二句向量的维度数量小于预设的数量阈值。

在其中一个实施例中，所述基于所述差异度和所述相似问语句的数量确定所述相似问集合的质量评分，包括：

基于所述差异度确定第一评分；所述差异度与所述第一评分之间成负相关关系；

基于所述相似问语句的数量确定第二评分；所述相似问语句的数量与所述第二评分成正相关关系；

基于所述第一评分和所述第二评分确定所述相似问集合的质量评分。

在其中一个实施例中，所述基于所述第一评分和所述第二评分确定所述相似问集合的质量评分，包括：

将所述第一评分和所述第二评分相加，得到所述相似问集合的质量评分。

在其中一个实施例中，所述将所述目标分布情况与预设的均匀分布情况进行比较，确定所述目标分布情况与所述均匀分布情况之间的差异度，包括：

通过拟合优度检验将所述目标分布情况与预设的均匀分布情况进行比较，确定所述目标分布情况与所述均匀分布情况之间的差异度。