[发明专利]基于动态多形式知识融合的开放域对话生成方法

权利要求书

1.一种基于动态多形式知识融合的开放域对话生成方法，其特征在于，包括：对话模块和动态多形式知识融合模块，

其中，所述对话模块包括第一Transformer编码器模块、第二Transformer编码器模块、第三Transformer编码器模块、Transformer解码器模块和控制器模块，

所述动态多形式知识融合模块包括虚拟知识推理模块、虚拟知识动态记忆模块、虚拟知识动态选择模块和常识知识扩展模块，

所述虚拟知识推理模块，将用户输入Xⁿ输入虚拟知识推理模型得到候选文档集合按照候选文档集合中各个候选文档的过滤分数从高到低进行排列，选择前T个候选文档作为候选文档集合

所述第一Transformer编码器模块，将所述候选文档集合进行编码得到语义特征矩阵

所述第二Transformer编码器模块，对所述用户输入Xⁿ进行编码得到语义信息

所述虚拟知识动态记忆模块，将当前对话之前得到的所有历史语义特征矩阵集合动态存储为矩阵H，根据所述语义信息基于注意力机制对所述矩阵H进行过滤和筛选得到历史虚拟知识

所述第三Transformer编码器模块，对历史对话Cⁿ和所述用户输入Xⁿ进行编码得到语义信息

所述虚拟知识动态选择模块，基于多头注意力机制，对所述语义信息所述历史虚拟知识和所述语义特征矩阵进行整合，得到融合语义特征和虚拟知识特征的向量

所述常识知识扩展模块，通过遍历常识知识图谱ConceptNet，对所述历史对话Cⁿ、所述用户输入Xⁿ和所述候选文档集合中的信息进行概念扩展、编码和特征提取得到扩展知识

所述Transformer解码器模块，基于上一时刻的生成单词对所述向量进行解码，得到解码后隐藏层状态

所述控制器模块，将所述解码后隐藏层状态经Softmax函数计算得到生成单词在对话标准词汇表的概率分布A，通过所述扩展知识得到生成单词在扩展知识实体集合的概率分布B，基于门控机制根据所述概率分布A和所述概率分布B得到当前时刻的生成单词

通过多次循环调用所述Transformer解码器模块和所述控制器模块，得到当前对话回合内所有时刻的生成单词集合输出所述生成单词集合Y作为对所述用户输入Xⁿ的回复。

2.根据权利要求1所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述虚拟知识推理模型由对话数据集和虚拟知识库对基于虚拟知识库推理算法DrKIT的模型进行训练得到。

3.根据权利要求2所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述对话数据集为开源对话数据集DailyDialog和PersonaChat。

4.根据权利要求2所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述虚拟知识库通过对常识故事数据集ROCStories进行索引化得到。

5.根据权利要求1所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述过滤分数为所述候选文档与单词集合中的词共现的次数，所述单词集合由所述用户输入Xⁿ和所述用户输入Xⁿ基于所述常识知识图谱ConceptNet得到的相关词组成，且所述单词集合中没有重复的词。

6.根据权利要求1所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述T的取值为5。

7.根据权利要求1所述的基于动态多形式知识融合的开放域对话生成方法，其特征在于：

其中，所述常识知识扩展模块的概念扩展、编码和特征提取的方法为：

从所述历史对话Cⁿ、所述用户输入Xⁿ和所述候选文档集合中抽取单词集合作为原始实体通过遍历所述常识知识图谱ConceptNet，得到所述原始实体的关联词集合作为扩展实体根据所述常识知识图谱ConceptNet获得所述原始实体和所述扩展实体中各对应单词的关系集合作为关系基于神经网络CompGCN分别对所述原始实体所述扩展实体和所述关系进行编码，分别得到编码向量编码向量和编码向量根据所述编码向量所述编码向量和所述编码向量通过注意力机制得到所述扩展知识