[发明专利]基于动态多形式知识融合的开放域对话生成方法

说明书

本发明提供了一种基于动态多形式知识融合的开放域对话生成方法，具有这样的特征，包括对话模块和动态多形式知识融合模块，其中，对话模块包括第一Transformer编码器模块、第二Transformer编码器模块、第三Transformer编码器模块、Transformer解码器模块和控制器模块，动态多形式知识融合模块包括虚拟知识推理模块、虚拟知识动态记忆模块、虚拟知识动态选择模块和常识知识扩展模块，虚拟知识推理模块。总之，本方法能够能够高效搜索对话相关的信息并形成丰富的对话内容。

技术领域

本发明涉及人工智能领域，具体涉及一种基于动态多形式知识融合的开放域对话生成方法。

背景技术

开放域对话生成即闲聊，是自然语言处理领域的一个重要研究方向，实现开放域对话生成也是人工智能走向成熟的一个重要标志。开放域对话旨在让机器生成的回应时保持连续性，且能满足人类在对话理解、情感共鸣等方面的需求。开放域对话生成技术极具应用前景，例如，开放域对话生成技术可以应用于智能语音助手等系统，实现更加智能和自然的人机交互；开放域对话生成系统也能成为人类的闲聊伴侣；该项技术甚至可以用来帮助人类进行话题探索激发用户的创造能力。

在开放域多轮对话方面，对话系统通常面临如何丰富对话内容的挑战。传统的丰富对话内容的方法通常为基于单一知识形式的方法来生成丰富的语义和信息对话，比如结构化的文本、非结构化的知识图等。传统的基于信息丰富的结构化文本的对话生成方法，存在筛选过程复杂、难以找到合适的知识加入对话等问题。传统的基于易于推理的非结构化知识图的对话生成方法，存在知识图不完整、知识图在构建过程中丢失信息等问题。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于动态多形式知识融合的开放域对话生成方法。

本发明提供了一种基于动态多形式知识融合的开放域对话生成方法，具有这样的特征，包括：对话模块和动态多形式知识融合模块，其中，对话模块包括第一Transformer编码器模块、第二Transformer编码器模块、第三Transformer编码器模块、Transformer解码器模块和控制器模块，动态多形式知识融合模块包括虚拟知识推理模块、虚拟知识动态记忆模块、虚拟知识动态选择模块和常识知识扩展模块，虚拟知识推理模块，将用户输入Xⁿ输入虚拟知识推理模型得到候选文档集合按照候选文档集合中各个候选文档的过滤分数从高到低进行排列，选择前T个候选文档作为候选文档集合第一Transformer编码器模块，将候选文档集合进行编码得到语义特征矩阵第二Transformer编码器模块，对用户输入Xⁿ进行编码得到语义信息虚拟知识动态记忆模块，将当前对话之前得到的所有历史语义特征矩阵集合动态存储为矩阵H，根据语义信息基于注意力机制对矩阵H进行过滤和筛选得到历史虚拟知识第三Transformer编码器模块，对历史对话Cⁿ和用户输入Xⁿ进行编码得到语义信息虚拟知识动态选择模块，基于多头注意力机制，对语义信息历史虚拟知识和语义特征矩阵进行整合，得到融合语义特征和虚拟知识特征的向量常识知识扩展模块，通过遍历常识知识图谱ConceptNet，对历史对话Cⁿ、用户输入Xⁿ和候选文档集合中的信息进行概念扩展、编码和特征提取得到扩展知识Transformer解码器模块，基于上一时刻的生成单词对向量进行解码，得到解码后隐藏层状态控制器模块，将解码后隐藏层状态经Softmax函数计算得到生成单词在对话标准词汇表的概率分布A，通过扩展知识得到生成单词在扩展知识实体集合的概率分布B，基于门控机制根据概率分布A和概率分布B得到当前时刻的生成单词通过多次循环调用Transformer解码器模块和控制器模块，得到当前对话回合内所有时刻的生成单词集合输出生成单词集合Y作为对用户输入Xⁿ的回复。

在本发明提供的基于动态多形式知识融合的开放域对话生成方法中，还可以具有这样的特征：其中，虚拟知识推理模型由对话数据集和虚拟知识库对基于虚拟知识库推理算法DrKIT的模型进行训练得到。