[发明专利]用于小样本意图识别的完型填空式的数据增强方法

说明书

本申请中一个或多个实施例提供了一种用于小样本意图识别的完型填空式的数据增强方法，内容包括：基于预训练语言模型构建完型填空式的数据增强任务用于意图识别，先采用无监督学习方法使得数据增强的结果在语义上与原始输入句子相似，然后再基于度量分类采用有监督的对比学习方法，使得同一类别的意图样本在嵌入空间中更接近彼此，不同类别的意图样本更远离彼此，对比学习方法包括原型层面的对比学习和实例层面的对比学习。在不破坏句法结构和增加噪音的情况下产生有意义的数据，充分利用了有限的数据并获得可分离的嵌入。在嵌入空间中获得更好的距离分布，从而改善基于度量的分类方法的性能。

技术领域

本发明属于意图识别技术领域，具体涉及一种用于小样本意图识别的完型填空式的数据增强方法。

背景技术

意图识别旨在从用户的话语中识别出用户的潜在意图，这是面向任务的对话系统中的关键组成部分。然而，一个实际的挑战是意图类别的数量增长速度快于人工注释数据的速度，导致许多新的意图类别只有少量数据可用。这种数据缺乏导致传统深度神经网络在少量训练数据上过拟合，严重影响了实际应用。因此，一些研究人员提出了小样本学习来解决数据稀缺问题。一种有效的方法是文本数据增强，但它总是生成噪声或无意义的数据。

在现实世界的应用中，新的意图类别迅速出现，并且只有有限的标注完备的数据，因此很难直接应用于优化现有的深度神经网络。这些网络一般都会包含一个预训练语言模型作为其主干，以将文本数据编码为连续的低维向量，例如BERT和RoBERTa。这样的模型总是具有多层的复杂架构，因此具有的参数量非常可观。如果在传统训练范式的基础上，直接利用少量训练数据更新深度神经网络模型的参数，模型将只能捕捉到局部特征，导致泛化能力不足和过拟合问题，即在训练集上表现良好，在测试集上表现不佳。为了处理这样的问题，Snell等人提出了少样本学习(FSL)策略来帮助模型仅在有限的数据中获得泛化能力。上述研究人员将小样本意图识别视为元学习问题。它通过一系列小的元任务来模拟小样本场景。这种方法广泛应用于关系分类、事件检测和意图检测等小样本文本分类任务领域。

一个主要的挑战是，基于元学习的小样本学习方法仍然很容易陷入因训练样本有限而导致的在偏差分布上过拟合的困境。一些研究人员试图通过数据增强方法来防止过拟合问题。其中一个关键思想是回译：将输入文本的其他语言表示翻译成初始语言。另一种常见的方法是利用外部知识库来获得与原始句子语义相似的表达。具体来说，Dopierre等人引入了多个知识库来生成原始输入的不同释义句子，而不是重新排序句子中的单词。然而，虽然回译可以生成相同语义的不同表达，但它在短文本中表现不佳。它生成的表达通常与原始输入句子相似甚至相同。而关于释义生成方法，我们认为它并不适合所有领域的文本增强，因为并不总是可以找到相对应的外部知识库。且，先前的数据增强相关方法，例如Liu等人提出的方法，训练效率低下，并且难以扩展到具有大量意图的任务。

发明内容

本发明要解决的技术问题是提供一种用于小样本意图识别的完型填空式的数据增强方法，以解决现有技术存在的上述至少一个问题。

基于上述目的，本申请中一个或多个实施例提供了一种用于小样本意图识别的完型填空式的数据增强方法，内容包括：基于预训练语言模型构建完型填空式的意图识别任务用于数据增强，先采用无监督学习方法使得数据增强的结果在语义上与原始输入句子相似，然后再基于度量分类采用有监督的对比学习方法，使得同一类别的意图样本在嵌入空间中更接近彼此，不同类别的意图样本更远离彼此，对比学习方法包括原型层面的对比学习和实例层面的对比学习。

基于本发明的上述技术方案，还可以作出如下改进：

可选的，所述无监督学习方法包括：以预训练语言模型作为特征提取器，采用标记来掩盖设定比例的输入词，根据输入句子的上下文的语义来预测这些被掩盖的标记；特征提取器通过加入两个特殊标记后，将完型填空式的意图识别任务中的句子编码为隐藏层向量表示，两个特殊标记分别表示完型填空式的意图识别任务中句子的开始和结束，该过程通过以下公式表示：