[发明专利]一种低数据场景下的对话模型训练方法及计算机设备

权利要求书

1.一种低数据场景下的对话模型训练方法，其特征在于，包括如下步骤：

步骤一、训练附加transformer，具体训练方法如下：

S1、在具有12层transformer和嵌入层的BERT语言模型上附加3层transformer，所述附加3层transformer只包含encoder层，在[CLS] 占位符的输出状态上用softmax 层对模型进行二分类训练，形成有对话历史，根据对话历史得到模型的输入序列；

S2、输入序列通过嵌入层映射后，得到768维的稠密向量；

S3、所述768维的稠密向量经transformer变换，得到768维输出向量；

S4、在[CLS]占位符的输出向量之上建立一个线性层，将所述步骤S3中768维输出向量映射至2维，经过softmax函数后作为分类的输出；

训练过程中，语言模型的transformer的参数和语言模型的嵌入层的参数被固定，不会发生变化；

步骤二、将步骤一训练好的3层transformer取下，将步骤一训练完的嵌入层复制下来，然后将训练好的3层transformer与复制下来的嵌入层组成新的transformer模型，将所述新的transformer模型重新执行步骤S2-S4，继续进行训练；

所述步骤一中当执行步骤S3时，具体为：所述768维的稠密向量经BERT语言模型的12层transformer变换，再通过附加的3层transformer变换，得到768维输出向量；

所述步骤二中当执行步骤S3时，具体为：所述768维的稠密向量经3层transforme变换，得到768维输出向量；

所述步骤一中当执行步骤S3时，所指的嵌入层为语言模型的嵌入层，所述步骤二中当执行步骤S3时，所指的嵌入层为执行完步骤一复制下来的嵌入层。

2.如权利要求1所述的低数据场景下的对话模型训练方法，其特征在于，所述步骤二中，重新执行步骤S2-S4，继续训练具体包括如下步骤：

S201、输入序列通过新的transformer模型的嵌入层映射后，得到768维的稠密向量；

S202、将768维的稠密向量经3层transformer变换，得到768维输出向量；

S203、在[CLS]占位符的输出向量之上建立一个线性层，将所述步骤S3中768维输出向量映射至2维，经过softmax函数后作为分类的输出。

3.如权利要求1所述的低数据场景下的对话模型训练方法，其特征在于，所述步骤S2中，输入序列通过嵌入层映射后得到长度与模型输入序列长度相同的向量序列作为输出向量，每个输出向量都是768维的稠密向量。

4.如权利要求1所述的低数据场景下的对话模型训练方法，其特征在于，所述步骤一和步骤二中的训练损失函数为二分类交叉熵，所述训练损失函数满足如下公式：

其中，L为损失，i为样本，yi 为样本 i 的真实标签；pi 为模型的预测分类；在步骤一的训练中，pi 为语言模型上附加3层transformer得到的模型的预测分类；在步骤二的训练中，pi 为新的transformer模型的预测分类。

5.如权利要求1所述的低数据场景下的对话模型训练方法，其特征在于，所述步骤S1中，根据对话历史得到模型的输入序列具体为：

根据对话历史设置对话序列和候选回复序列；

将[CLS] 占位符、对话序列、[SEP] 占位符和候选回复序列拼接后得到模型的输入序列。

6.一种计算机设备，其特征在于，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的低数据场景下的对话模型训练方法。