[发明专利]一种基于知识图谱的对话方法、介质及系统

权利要求书

1.一种基于知识图谱的对话方法，其特征在于包括以下步骤：

S1、编码器程序模块对所有对话历史进行拼接获得输入序列，对所述输入序列进行嵌入，获得所述对话历史的向量表示；

S2、知识图谱嵌入程序模块对若干知识条目进行嵌入，获得所述若干知识条目的向量表示；

S3、多头注意力机制程序模块针对所述对话历史的向量表示对于每个所述知识条目的向量表示计算注意力分数；

S4、多头注意力机制程序模块利用所述注意力分数综合所述知识条目获得所述知识条目的上下文向量；

S5、解码器程序模块将输入的所述知识条目的上下文向量以及所述对话历史的向量表示进行解码，获得机器回复。

2.根据权利要求1所述的一种基于知识图谱的对话方法，其特征在于所述编码器程序模块或者知识图谱嵌入程序模块是采用双向序列编码的基于Transformer网络的编码器程序模块或者知识图谱嵌入程序模块，所述Transformer网络由嵌入层、位置编码层、若干交替的注意力层和线性前向层组成；所述Transformer网络的注意力层和线性前向层均可以看到双向的内容；所述步骤S1或者S2具体包括以下步骤：

S11、将对话历史X或者知识条目链接成一个文字序列[w₁，w₂，...，w_l]，序列长度为l，输入所述Transformer网络；所述Transformer网络嵌入层对文字序列[w₁，w₂，...，w_l]进行嵌入获得文字向量[e₁，e₂，...，e_l]；

S12、所述Transformer网络位置编码层对所述文字向量[e₁，e₂，...，e_l]进行位置嵌入得到隐向量其中是与所述文字向量[e₁，e₂，...，e_l]维度相同的位置向量，使用随机初始化，在所述Transformer网络训练中进行学习；

S13、所述隐向量h⁽⁰⁾依次经过所述若干交替的注意力层和线性前向层获得对话历史的向量表示或者知识条目的向量表示，具体的：

S131、所述注意力层计算多头自注意力：MultiHeadAtt(h⁽ⁱ⁾)＝Concat(head₁，...，head_h)W^c，其中head₁表示所述多头注意力的一个头head₁＝Att(h^(i-1))，其中Att表示普通点乘自注意，i表示第i个注意力层；

S132、所述注意力层与前注意力层输出使用残差方式进行层归一化：h⁽ⁱ⁾＝Norm(MultiHeadAtt(h^(i-1))+h^(i-1))，其中h⁽ⁱ⁾表示第i个交替的注意力层和线性前向层的所有隐向量，MultiHeadAtt表示注意力层，Norm表示层归一化操作；

S133、所述线性前向层与前线性前向层输出使用残差方式进行层归一化：h⁽ⁱ⁾＝Norm(FFN(h^(i-1))+h^(i-1))，其中FFN表示线形前向层。

3.根据权利要求2所述的一种基于知识图谱的对话方法，其特征在于所述步骤S3具体为：所述对话历史的向量表示经过一个线性层作为询问Q，所述知识条目的向量表示经过一个线性层作为键K和值V，计算所述注意力分数：

其中为Q，K，V的向量维度。