[发明专利]一种语料标注反馈方法及装置

说明书

本说明书实施例提供一种语料标注反馈方法及装置。所述方法包括：首先获取多个语料，其中，每个语料具有预先标注的标注类别；然后基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；再基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；之后基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

技术领域

本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种语料标注反馈方法及装置。

背景技术

在外呼项目以及机器人项目中，业务人员根据场景，将用户说的各种文本的归类作为语料，并通过算法学习语料得到类别识别模型。

类别识别模型完全通过学习业务人员人工标注的语料来得到，如果语料的标注有误，则对类别识别模型的效果造成非常大的影响。

在实践中，经常发现业务人员把语料分错类的情况。因此，需要一种能够发现标注错误的语料，并向业务人员反馈的方法。

发明内容

本说明书一个或多个实施例描述了一种语料标注反馈方法及装置，可以发现并输出可能标注错误的语料，以向相关人员反馈可能标注错误的语料。

根据第一方面，提供一种语料标注反馈方法，包括：

获取多个语料，其中，每个语料具有预先标注的标注类别；

基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

在一个实施例中，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

在一个实施例中，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

根据排序的结果确定所述候选语料。

在一个示例中，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：