[发明专利]一种低数据场景下的对话模型训练方法及计算机设备

说明书

本发明提供一种低数据场景下的对话模型训练方法及计算机设备，本发明提供的低数据场景下的对话模型训练方法，包括如下步骤：步骤一、在语言模型2上附加小型transformer自注意力层，训练附加小型transformer自注意层，此步骤训练中，语言模型的参数被固定不变。步骤二、将训练好的附加transformer自注意层与复制下来的嵌入层组成新的transformer模型，继续训练新的transformer模型。本发明提供的低数据场景下的对话模型训练方法能够在缺乏对话数据的情况下，通过本发明的训练方法可以训练得到可用的检索式端到端对话模型，参数量小，不容易过拟合，推理运算速度快。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种低数据场景下的对话模型训练方法及计算机设备。

背景技术

智能人机对话一直是自然语言处理领域的热点问题之一，其主要的功能就是给出自然的、合理的回复给人类对话者，在智能客服、智能家居等场景下广泛应用。其中，检索式端到端对话系统由于训练方便、输出可控的特点更是成为了学术界和工业界的研究热点，它的主要特点是直接使用单个模型完成整个对话流程，而不需要分为多个模块配置训练。

如今学术界关注的技术大多为使用基于transformer的大型语言模型来作为回复检索器，此类模型因为参数量巨大，效果比传统基于词向量的模型效果更好，但是也带来了难以训练的问题，即使可以通过微调预训练模型来减轻，但在数据量少的情况下仍然难以获得效果好的模型。尤其是当对话模型需要应用于某个特定领域时，获取大量特定领域相关的训练数据是比较困难的。因此缺乏一种在训练数据较少的情况下快速搭建有效检索对话模型的方法。

发明内容

基于此，有必要提供一种低数据场景下依然能够有效工作的低数据场景下的对话模型训练方法及计算机设备。

本发明提供一种低数据场景下的对话模型训练方法，包括如下步骤：

步骤一、训练附加transformer，具体训练方法如下：

S1、在具有transformer和嵌入层语言模型上附加3层transformer，在[CLS] 占位符的输出状态上用softmax 层对模型进行二分类训练，形成有对话历史，根据对话历史得到模型的输入序列；

S2、输入序列通过嵌入层映射后，得到768维的稠密向量；

S3、所述768维的稠密向量经transformer变换，得到768维输出向量；

S4、在[CLS]占位符的输出向量之上建立一个线性层，将所述步骤S3中768维输出向量映射至2维，经过softmax函数后作为分类的输出；

训练过程中，语言模型的transformer的参数和语言模型的嵌入层的参数被固定，不会发生变化；

步骤二、将步骤一训练好的3层transformer取下，将步骤一训练完的嵌入层复制下来，然后将训练好的3层transformer与复制下来的嵌入层组成新的transformer模型，将所述新的transformer模型重新执行步骤S2-S4，继续进行训练。

优选地，所述附加3层transformer只包含encoder层。

优选地，所述步骤二中，重新执行步骤S2-S4，继续训练具体包括如下步骤：

S201、输入序列通过新的transformer模型的嵌入层映射后，得到768维的稠密向量；

S202、将768维的稠密向量经3层transformer变换，得到768维输出向量；

S203、在[CLS]占位符的输出向量之上建立一个线性层，将所述步骤S3中768维输出向量映射至2维，经过softmax函数后作为分类的输出。