[发明专利]一种基于对话历史建模的多轮对话生成方法及装置

说明书

一种基于对话历史建模的多轮对话生成方法及装置，属于人工智能领域，其特征在于，利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化获取近邻感知的对话历史语义表示；利用面向对话历史的注意力机制使查询语句自动从对话历史中吸收相关语义信息，得到对话历史增强的查询语义表示；再根据本申请新增的近邻感知的对话历史语义表示、及对话历史增强的查询语义表示通过神经网络逐词生成回复语句，能够有效捕捉对话历史中篇章级别的连贯语义关系，缓解对话历史建模的长期依赖问题和记忆延迟问题，并充分挖掘了查询语句在捕捉当前对话焦点时的重要作用，使得所生成的对话具备更好的上下文一致性和信息丰富性。

技术领域

本发明属于人工智能领域，尤其涉及一种基于对话历史建模的多轮对话生成方法及装置。

背景技术

开放域对话系统旨在实现让机器与人类在开放领域话题上进行自然语言交互。近年来，由于大规模数据的可得性以及深度学习技术的进步，基于神经网络的对话生成在开放域对话系统中引起了广泛的研究兴趣。与单轮场景相比，多轮对话在日常生活中更为广泛，但也对上下文一致性提出了更严格的要求。在多轮对话中，回复语句的生成不仅应取决于用户最近的消息，还应与对话历史保持一致，避免在逻辑、情感等方面的矛盾。因此，如何建模对话历史成为了多轮对话生成的关键内容之一。

目前对话历史建模方法可以大致分为两类：层次建模方法和非层次建模方法。层次建模方法在句子和篇章两个层面上建模对话历史，着重研究对话历史中蕴含的语义关系以及话题转移关系等，部分研究还将记忆网络、隐变量模型以及变分自编码器融入了层次建模方法中。非层次建模方法通常按照对话顺序将对话历史串联为一个句子，或将对话历史综合重写为一个信息更加丰富的句子，然后将该句子输入到传统序列到序列框架以生成答复语句。与层次建模方法相比，非层次建模方法本质上还是单轮对话生成，忽略了对话历史中动态变化的话题流,因此层次类建模方法在捕捉对话过程中的语义变化上性能更佳。

对话历史建模的一个关键问题就是获取对话历史的语义表示。目前的层次类建模方法通常将对话历史中各个轮次的语句视为相互独立的句子，然后进行单独的语义编码。这种做法忽略了一个重要事实，即多轮对话产生于一个连贯一致的交流过程，其中涉及的各个轮次的语句是前后关联的。对话历史中相邻的语句间存在显式的回复关系。如果单独编码这些语句却不考虑它们之间的语义关系，层次类建模方法可能无法捕获对话历史中篇章级别的连贯关系。

此外，对话历史中多个语句的重要性不同，对当前轮次的回复生成存在不同的影响力。因此，如何找到与当前回复生成最相关的历史语句，也是对话历史建模的关键问题之一。目前的层次类建模方法主要利用各种注意力机制来计算历史语句的重要性，进而通过加权整合来获得对话历史的语义表示。但大量研究和实验结果证明，这种做法不能保证生成回复语句的相关性和一致性。

发明内容

本发明旨在解决上述问题，提供一种基于对话历史建模的多轮对话生成方法及装置。

第一方面，本发明提供一种基于对话历史建模的多轮对话生成方法，包括：

通过神经网络获得对话历史中每个语句的初始词级语义表示；

利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化，获取近邻感知的对话历史语义表示；

将对话历史中的最新语句定义为查询语句，先利用自注意力机制捕捉查询语句中词之间的关系，然后利用面向对话历史的注意力机制使查询语句自动从对话历史中吸收相关语义信息，得到对话历史增强的查询语义表示；

根据近邻感知的对话历史语义表示、及对话历史增强的查询语义表示，通过神经网络逐词生成回复语句；