[发明专利]一种基于关键词的回复生成方法

说明书

一种基于关键词的回复生成方法，本发明涉及基于关键词的回复生成方法。本发明为了解决现有方法灵活性差、容易产生语意损失，以及序列对序列模型倾向于生成一般性万能回复的问题。本发明包括：一：根据输入的消息生成关键词；二：将输入的消息转化成上下文向量，将第一个关键词和上下文向量送入解码器，若得到的预测结果与第一个关键词一致，则将第二个关键词和上下文向量送入解码器；若得到的预测结果与第一个关键词不一致，则仍将第一个关键词和上下文向量送入解码器，直至得到的预测结果与第一个关键词一致后，再将第二个关键词和上下文向量送入解码器，直至所有关键词按顺序送入解码器，并得到预测结果。本发明用于聊天机器人回复生成领域。

技术领域

本发明涉及计算机人工智能领域聊天机器人(也称人机对话系统)的回复生成领域，具体涉及基于关键词的回复生成方法。

背景技术

聊天机器人是一种利用自然语言处理技术来模拟人类交流并和人类进行对话的计算机程序。聊天机器人的起源最早可以追溯到1950年图灵在《Mind》上发表的文章《Computing Machinery and Intelligence》，该文提出了经典的“图灵测试”(TuringTest)，这一测试数十年来一直被视为计算机人工智能的终极目标。在聊天机器人中，回复生成是一个核心模块。近年来，使用神经网络的回复生成方式日益引起人们的兴趣。基于LSTM的序列到序列(Seq2Seq)模型是一类神经网络生成模型，能够最大化给定的先前对话回合的生成概率。该方法使得连续对话回合之间构成了一一映射的关系。类似的模型比如，基于神经网络机器翻译NMT的对话模型。

正如Seq2Seq模型的名称一样，这一模型用于将一个序列映射为另一个序列，广泛应用于目前的开放域聊天机器人、机器翻译、句法分析、问答系统等场景中，其基本结构如图1所示。Seq2Seq模型采用了一种Encoder-Decoder的框架，这一框架可以看作是一种文本处理领域的研究模式。对于句子对I,O，模型的目标是给定输入句子I，希望通过Encoder-Decoder框架来生成目标句子O。I和O可以是同一种语言(比如问答和聊天)，也可以是两种不同的语言(比如机器翻译)。I和O都是由单词序列构成，假设I＝i₁，i₂，...i_m以及O＝o₁，o₂，...o_n，Encoder顾名思义就是对输入句子X进行编码，将输入句子通过非线性变换转化为中间语义表示C：

C＝f(i₁，i₂…i_m)

对于解码器Decoder来说，其任务是根据句子X的中间语义表示C和之前已经生成的历史信息来生成i时刻要生成的单词o_i：

每个输出字符o都依次这么产生，那么整个系统就根据输入句子I生成了目标句子O。

使用Seq2Seq模型构建聊天机器人，可以进行以下的建模：对于上文提到的I,O对中，使用I建模用户输入语句，使用O建模聊天机器人的回复语句。其含义是当用户输入Message后，经过Encoder-Decoder框架计算，首先由Encoder对Message进行编码，形成中间语义表示C；Decoder根据中间语义表示C生成聊天机器人的回复语句。这样，用户输入不同的Message，聊天机器人生成与之对应的新的回复，这样就构成了一个实际的对话系统。

将Seq2Seq模型应用于聊天机器人的场景时，Encoder和Decoder的结构单元通常都采用RNN，RNN模型对于文本这种线性序列来说是最常用的深度学习模型；现在使用更多的则是RNN的改进模型LSTM模型和GRU模型：这两种模型处理句子比较长的情形时效果要明显优于传统RNN模型。同时，为了提升模型效果，如图2所示，现在经常使用多层的Seq2Seq网络。