[发明专利]基于细粒度局部信息增强的对话结构感知对话方法及系统

说明书

本发明涉及一种基于细粒度局部信息增强的对话结构感知对话方法及系统，该方法包括以下步骤：步骤A：获取特定场景的多轮对话文本，并标注每个多轮对话回复所属的类别，构建带正负类别标签的训练集D；步骤B：使用训练集D训练细粒度局部信息增强的对话结构感知深度学习网络模型SAFL，用于选择给定多轮对话上下文对应的回复；步骤C：将多轮对话上下文与回复集输入到训练后的深度学习网络模型SAFL中，得到对应多轮对话上下文最合适的回复。该方法及系统有利于提高提高多轮对话回复选择的精确度。

技术领域

本发明属于自然语言处理领域，具体涉及一种基于细粒度局部信息增强的对话结构感知对话方法及系统。

背景技术

近些年来，随着机器学习和深度学习网络的发展，人类在与计算机的智能对话中取得了重大进步，对话系统逐渐走进了大家的视野。对话系统对工业界和学术界都有着重要的研究价值，并且可以广泛应用在很多领域。目前的对话系统算法主要有生成式对话和检索式对话两类，其中，生成式对话在推理阶段不依赖任何语料库就能根据一个问题逐字生成一个答案，其生成的答案具有多样性的优点，但获取的答案往往逻辑性不强，有时还会陷入安全回复的陷阱中。而检索式对话是让算法根据特定的一个问题到语料库中找到一个最合适的答案进行回复，能够从问题中提取出与正确回复相关联的信息，依据这些信息推理出合适的答案。检索式对话模型目前已广泛应用于微软小冰等多轮对话系统中，相较于生成式对话模型更加可靠，具有更好的实用性。

Lowe等人针对检索式多轮对话中的回复选择任务构建了两个基准模型，分别基于循环神经网络(Recurrent Neural Networks，RNNs)算法和长短期记忆网络(Long ShortTerm Memory，LSTM)算法。这两个基准模型在对文本进行编码的过程中借助RNN的隐藏层单元记忆上一时刻的文本特征，为模型引入时间顺序信息，克服了早期算法中使用词袋模型的缺点。但是在多轮对话中，对话历史可能是冗长的，并非所有的内容都与回复相关，上述的两个基准模型对整段对话数据直接进行编码，不能有针对性的从对话数据中提取出重要的信息，导致为模型带来不必要的噪声。为了从长文本中提取出重要的信息，研究人员提出通过将上下文和回复进行匹配来提取出重要的信息，将回复选择任务分解为三个步骤，第一步骤是使用基于RNN的算法从每一个话语和回复中提取特征，第二个步骤是将提取到的话语特征与回复特征去做匹配，第三个步骤就是使用CNN等方法在匹配矩阵中取出计算分数需要的信息。但是RNN能提取到的语义信息是有限的，RNN编码假设数据是序列相关的，但是在对话数据中话题是动态的，距离很远的两段话也可能高度相关，RNN编码难以准确学习到这两段话的关系，同时RNN在编码长度较长的段落时还可能会出现梯度消失的现象，不能很好获取远距离依赖关系。RNN的局限性导致上述方法可能在第一个步骤中就已经丢失了重要的信息。2017年Vaswani提出的Transformer架构借助大量的自注意力和交互注意力运算，能够充分掌握全局的依赖信息，不受序列距离的限制。研究人员将Transformer的编码器部分改写并应用于模型的编码模块，加强了模型提取信息的能力，同时受Transformer中多头注意力机制的影响，这些工作在匹配阶段利用多头注意力构建了多种粒度的语义信息，丰富了模型的特征表示，取得了明显的提升效果。但是，上述模型还存在着以下几点问题。第一，对于全局序列信息考虑不足。上述模型主要在匹配结束之后使用RNN等方法编码所有的语句表征，这些语句表征在编码，匹配阶段可能就已经丢失了重要的信息。第二，使用的词向量表示没有考虑到上下文语境。上述模型主要使用Word2vec这样的静态词向量，难以解决一词多义问题，无法根据不同的上下文语境准确表达语义信息，从而在编码阶段就带来噪声。