[发明专利]一种端到端的任务型对话系统的领域适应方法

权利要求书

1.一种端到端的任务型对话系统的领域适应方法，其特征在于利用在源领域基于对话语料训练得到一个任务型对话模型，并将对话模型进行领域迁移，使模型能够适应目标领域，其具体方法包括以下步骤：

步骤1：在源领域训练任务型对话模型，使用编码-解码模型学习如何利用对话上下文信息生成回复；

步骤2：在源领域训练过程中，使用特征衰减模块来过滤和弱化源领域的特征；

步骤3：将对话模型迁移到目标领域，并使用特征加强模块强化目标领域的特征；

步骤4：将迁移的模型在目标领域进行测试；

所述步骤1在源领域训练任务型对话模型，使用编码-解码模型通过一个循环神经网络结构，从对话语句中充分捕捉细粒度的文本语义信息，将语句编码成一个隐向量表示，然后通过解码器解码生成回复语句；

假设用X表示一个输入的语句序列，其中包含n个词＝…，循环神经网络将句子中的每一个词映射到一个低维度的稠密空间中，生成隐含层表示从而获得一个句子的整体表示；

在隐含层表示的基础上解码器解码生成回复语句序列＝…，生成的由训练集进行最大似然估计；

上述整个编码-解码模型由两个循环神经网络组成，对于的解码过程，解码器首先获取的隐向量表示然后解码器分别计算和之间的注意力权值，再对所有的进行加权求和得到最后将和拼接送入输出层经过softmax操作后生成输出词，其过程的公式表示如下：

所述步骤2使用特征衰减模块在计算注意力权值之前，特征衰减模块先根据和计算掩码向量/_89:，然后用/_89:分别与和进行对应元素乘法，其计算公式如下：

使用和代替和进行后续的注意力权值计算和解码，其中，W和W为待学习参数；

所述步骤3使用特征加强模块强化目标领域的特征是在目标领域的训练过程中模型增加了特征增强模块，特征增强模块与特征衰减模块类似，在计算注意力权值之前，特征衰减模块先根据和分别计算各自的自注意力权值矩阵，然后对权值矩阵按行进行softmax操作，得到权值向量，用权值向量分别与和进行对应元素乘法，并使用进行乘法后的结果分别代替和进行后续的注意力权值计算和解码，所述自注意力权值计算公式如下：

其中：W和W为待学习参数；C为位置掩码，其表示如下：

2.根据权利要求1所述端到端的任务型对话系统的领域适应方法，其特征在于所述步骤2中的特征衰减模块在源领域模型的解码过程中对解码的隐向量和一个掩码向量做元素乘法，所述掩码向量的维度与隐向量相同，其元素取值在0～1之间。

3.根据权利要求1所述端到端的任务型对话系统的领域适应方法，其特征在于所述步骤3中的特征加强模块在目标领域模型解码过程中对解码的隐向量进行了自注意力机制操作。