[发明专利]一种基于伪标签自训练和源域再训练的新对话意图识别方法

说明书

本发明公开了一种基于伪标签自训练和源域再训练的新对话意图识别方法，属于语言处理的技术领域。本发明的基于伪标签自训练和源域再训练的新对话意图识别方法，为包含新对话意图的未标注数据产生伪标签，并利用自训练的方法迭代更新模型参数，使得识别准确率不断提高；同时提出了一种再训练策略，使得知识可以更好地在源域和目标域间进行迁移，从而提高模型的表达能力；最后，本发明融合了三个模型的输出进行集成学习，提高了模型的鲁棒性。

技术领域

本发明属于语言处理的技术领域，具体涉及一种基于伪标签自训练和源域再训练的新对话意图识别方法。

背景技术

智能对话系统的核心模块是用户意图识别。新对话意图识别旨在根据已有的对话意图来发现新产生的对话意图，只利用少量有标注的已知意图数据，来从大量无标注数据中进行新意图的发现及分类。由于包含新意图的数据全部为未标记数据，因此现有的对话意图分类模型无法对其进行处理，从而导致用户意图识别错误，影响智能对话系统的后续响应。

为了解决上述问题，目前学术界主要采用两类方法：1.基于对比学习的方法，如Lin等提出了基于对比相似度的自适应聚类模型，通过对比学习的方法选择高质量数据进行自标记并进行训练。2.基于深度聚类的方法，如Zhang等提出了基于深度对齐聚类的新对话意图发现模型，通过聚类及对齐操作为未标注数据产生伪标签并进行模型训练。上述技术方案存在如下的缺点：第一，现有模型为未标注数据产生的伪标签粒度较粗，无法较好地训练模型进行新对话意图地发现。第二，现有模型仅利用标注数据进行模型初始化，而在训练过程中未能充分利用标注数据，使得知识迁移变得困难。第三，现有模型仅利用聚类模型产生最终预测，未考虑融合其它模型进行集成学习，使得模型的鲁棒性降低。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于伪标签自训练和源域再训练的新对话意图识别方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于伪标签自训练和源域再训练的新对话意图识别方法，包括以下步骤：

一、模型训练

1)使用模型Net1和模型Net2对输入进行特征提取，分别得到第i个输入的向量表示和对和进行加权组合得到第i个输入的最终表示

所述模型Net1和模型Net2为结构相同的BERT模型；

2)使用聚类模型Kmeans对输入的最终向量表示进行聚类操作，从而得到每个样本所属类别的伪标签

使用Softmax分类器对输入的向量表示和分别进行分类操作，从而得到每个样本所属类别的另外两组伪标签和

对和进行线性变换，得到模型对第i个输入的预测概率分布向量和

采用自训练的方法，通过交叉熵损失计算预测概率分布向量与伪标签的差异，预测概率分布向量与伪标签的差异以及预测概率分布向量与伪标签的差异，对所有输入样本的损失进行求和，得到损失值对损失值进行加权组合得到伪标签自训练的最终损失值

3)使用有标注数据对模型Net1和模型Net2进行再训练，通过交叉熵损失函数计算预测概率分布向量和与真实标签之间的差异，得到有标注训练的损失值

4)对和进行加权组合，得到最终的损失值通过反向传播不断更新模型参数，使得模型的预测与真实值的之差在预设范围内；

5)将待分类对话文本分别输入到模型Kmeans、模型Net1和模型Net2进行标签预测，对得到的预测标签进行加权组合，最后使用Softmax分类器对组合结果进行分类。

进一步的，步骤1)中的特征提取的具体操作为：

针对第i个输入文本s_i，使用模型Net1和模型Net2分别进行特征提取，得到向量表示和