[发明专利]一种基于知识图谱的对话方法、介质及系统

说明书

本发明涉及一种基于知识图谱的对话方法、介质及系统，其中方法包括以下步骤：S1、编码器程序模块对所有对话历史进行拼接获得输入序列，对所述输入序列进行嵌入，获得所述对话历史的向量表示；S2、知识图谱嵌入程序模块对若干知识条目进行嵌入，获得所述若干知识条目的向量表示；S3、多头注意力机制程序模块针对所述对话历史的向量表示对于每个所述知识条目的向量表示计算注意力分数；S4、多头注意力机制程序模块利用所述注意力分数综合所述知识条目获得所述知识条目的上下文向量；S5、解码器程序模块将输入的所述知识条目的上下文向量以及所述对话历史的向量表示进行解码，获得机器回复。有益效果是能够增加对话深度、提升目标知识选择能力。

【技术领域】

本发明涉及自然语言处理技术领域，具体涉及一种基于知识图谱的对话方法、介质及系统。

【背景技术】

对话系统(dialog system)能够以自然语言与人类进行会话的软件系统。对话系统是机器利用自然语言与人交互的一种技术，它能够进行问答从而提供信息、通过解读指令来完成任务、通过闲聊了实现娱乐功能；一个优秀的对话系统能够极大地便利用户，提升用户体验；目前的对话系统已经能够实现简单的浅层对话，完成一些简单的预设的任务。但是目前的对话系统很难实现一些深度的，针对特定领域的对话，因为要针对某一领域的提供特定信息或者完成特定的任务往往依赖于一定的背景知识。例如，当用户说“你喜欢周杰伦的哪一首歌？”，倘若机器要恰当的回答这个问题，必须具备周杰伦歌曲的一些知识。所以要实现一个可以深度对话的有“智慧”的对话系统，我们必须在对话系统中加入对特定领域背景知识的表示和理解。目前该方法面临的挑战有背景知识选择难、训练监督难。图1是普通的不包含知识图谱嵌入的对话系统结构示意图。如附图1所示，普通的不包含知识图谱嵌入的对话系统，机器只基于对话历史基于编码器-解码器结构生成机器回复，这种方法缺乏知识的嵌入会导致对话缺乏深度。

Transformer是一种基于encoder-decoder结构的、自注意力机制的翻译模型，Transformer在众多自然语言处理问题中取得了非常好的效果，只用encoder-decoder和attention(自注意力)机制就能达到很好的效果，它不但训练速度更快，而且更适合建模长距离依赖关系，因此大有取代循环或卷积神经网络，一统自然语言处理的深度模型江湖之势。Transformer翻译模型一般包括1、Encoder(编码器)部分，主要由self-attention(自注意力)组件和前馈神经网络组成；2、Decoder(译码器)部分，比Encoder多了一个maskedMulti-head Self-Attention，作用是隐藏未来信息，仅仅关注已经生成的序列信息。双向序列编码模型也叫序列到序列模型，简称seq2seq模型，Sequence-to-Sequence是一种由双向RNN组成的encoder-decoder神经网络结构，从而满足输入输出序列长度不相同的情况，实现一个序列到另一个序列之间的转换。自回归一般指自回归模，自回归模型(英语：Autoregressive model，简称AR模型)，是统计上一种处理时间序列的方法，用同一变数例如x的之前各期，亦即x1至xt-1来预测本期xt的表现，并假设它们为一线性关系。因为这是从回归分析中的线性回归发展而来，只是不用x预测y，而是用x预测x(自己)；所以叫做自回归。

知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系；知识图谱的构建主要涉及到知识建模、知识抽取、知识融合、知识存储、知识计算以及知识应用。知识图谱嵌入技术(knowledge graph embedding)，知识图谱嵌入的方法主要分为两类，平移距离模型和语义匹配模型。