[发明专利]基于HRED和内外记忆网络单元的情感对话生成方法

说明书

本发明提供一种基于HRED和内外记忆网络单元的情感对话生成方法，该方法通过构建特殊的情感聊天对话语料和提出一种基于层次循环神经网络和内外记忆单元的情感对话生成模型来解决情感因素在大规模多轮对话中的嵌入和应用。内部记忆网络的提出提高了情感表达和语法表达之间的自动均衡，外部记忆网络的提出增加了情感的显式表达，使得模型生成的回答更具情感信息。

技术领域

本发明涉及自动对话生成领域，更具体地，涉及一种基于HRED和内外记忆网络单元的情感对话生成方法。

背景技术

encoder-decoder模型：又叫做编码-解码模型，这是一种应用于seq2seq问题的模型。而seq2seq简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案。为了解决seq2seq问题，有人提出了encoder-decoder模型，也就是编码-解码模型。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。

层次循环编码解码模型（HRED）：Hierarchical Recurrent Encoder-DecoderModel，这是一个两层的Seq2Seq模型。在HRED当中，包含了三个RNN，即一个Encoder RNN，一个Context RNN和一个Decoder RNN。对于一个输入，首先通过Encoder RNN计算得到一个real-valued Vector，然后将这个Vector 作为Context RNN的输入，做一些归纳的工作得到summary，最后再把这个summary作为Decoder RNN的输入，最终生成回答。而传统的Seq2Seq（Encoder Decoder）则只包含一个Encoder RNN和一个Decoder RNN ，这里的Context RNN每一个Dialogue当中只更新一次，并且每次更新都使用相同的参数。

情感智能是人工智能一个很重要的组成部分，让机器拥有感知和理解人类情绪和情感是人工智能的一个长期目标。对话系统的初衷是让机器能够如同人一样进行对话，要想对话系统的对话水平达到人类的水准，感知和理解人类情感是一个很重要的因素。但是到目前为止，情感因素在大规模对话生成中并没有得到解决。目前对话系统/聊天机器人主要分为检索式对话系统和生成式聊天对话系统。对于基于检索技术的模型，由于使用了知识库且数据为预先定义好的，因此进行回复的内容语法上较为通顺，较少出现语法错误；但是基于检索技术的模型中没有会话概念，不能结合上下文给出更加智能的回复。而生成式模型则更加智能一些，它能够更加有效地利用上下文信息从而知道你在讨论的东西是什么；然而生成式模型比较难以训练，并且输出的内容经常存在一些语法错误（尤其对于长句子而言），以及模型训练需要大规模的数据。基于检索的对话系统无法利用附加信息，所以很难解决情感因素在对话系统中的嵌入问题。

就目前所知，已经有人采用基于神经网络的生成模型来生成对话系统中的回答，但是暂时还没有人将情感因素嵌入到网络模型中以解决对话系统中的情感嵌入的问题。在多轮对话系统中解决情感嵌入的问题更是亟待解决。

发明内容

本发明提供一种基于层次循环神经网络和内外记忆单元的情感智能客服对话生成系统生成方法，该方法可以解决情感因素在对话系统中的嵌入问题。

为了达到上述技术效果，本发明的技术方案如下：

一种基于HRED和内外记忆网络单元的情感对话生成方法，包括以下步骤：

S1：准备情感对话系统数据；

S2：对于S1得到的数据集若是单轮对话，利用该单轮对话数据集对编码-解码模型进行训练，其中在解码模块中添加预先训练的情感类别的词向量以及内外记忆单元，模型训练完毕后进行测试；