[发明专利]一种基于自注意力机制的情感对话生成方法与装置

说明书

本发明公开了一种基于自注意力机制的情感对话生成方法与装置，该方法包括以下步骤：1)接收用户Post的输入语句以及对应的情感标签E_p；2)根据接收语句的情感信息和语义信息，获得回复情感E_r；3)根据回复情感E_r和接收语句的语义信息，生成对应的回复。本发明能够自动感知上文语义和情感信息并生成带有合适情感的回复。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于自注意力机制的情感对话生成方法与装置。

背景技术

传统的闲聊型聊天机器人主要采用的是模式匹配、人工智能标记语言(AIML)、基于检索的和基于统计理论等技术。这些技术大多依赖预定义的模板规则或者人工标注，仅能较好地解决特定领域的对话生成问题，然而其针对开放领域的对话生成效果则会较差。得益于互联网大量的聊天数据和设备计算能力的提升，基于深度学习技术的对话生成逐渐成为目前聊天机器人主流技术，因为序列到序列模型(Sequence to Sequence Model,Seq2seq)能够减少构建对话引擎过程中的特征工程量、能够产生原始数据以外的回复、且能够端到端的训练。最近，基于Seq2seq模型，许多研究工作提出了带有情感的对话生成模型，如Hao Zhou提出的ECM模型、Xianda Zhou提出的Reinforced CVAE模型等，这些模型能够指定回复的情感类别，从而生成带有特定情感的回复。虽然上述方法为传统的Seq2seq模型增加了情绪表达机制，但它们仍然需要人工指定输出情感类别，并不能实现自动选取合适的回复情感。主要原因在于，这些模型并未考虑会话(Session)中上文的情感信息，无法获取到有用信息来建模对话当中的情感交互的模式，因而也就无法根据上文场景建模以实现智能化生成带有合理情感的回复。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于自注意力机制的情感对话生成方法与装置。

本发明解决其技术问题所采用的技术方案是：一种基于自注意力机制的情感对话生成方法，包括以下步骤：

1)接收用户Post的输入语句，所述用户输入语句包括词的特征向量表示序列X＝{x₁,x₂,……,x_n}，以及对应的情感标签E_p；

2)根据接收语句的情感信息和语义信息，获得回复情感E_r；

2.1)根据接收语句，将用户输入的序列的文字符号转换为情感向量表示；

2.2)根据接收语句，将用户输入的序列的文字符号转换为语义向量表示；

2.3)将上述语义向量和情感向量拼接后通过一个多层感知机，自动学习产生一个权值，并根据这个权值将h_e和h_s融合起来，输出情感-语义信息融合后的句子向量h_es；

2.4)根据上述融合后的句子向量预测得到回复情感；

3)根据回复情感E_r和接收语句的语义信息，生成对应的回复。

按上述方案，所述步骤2.1)将用户输入的序列的文字符号转换为情感向量表示，具体步骤如下：

2.1.1)将用户输入的序列的文字符号表示向量化，通过查询预训练的情感词嵌入列表，得到每个文字符号的情感向量表示；

2.1.2)对情感词嵌入层输出的字符级别的情感向量表示按照序列顺序进行GRU编码，得到情感隐含层向量；

2.1.3)判断输入语句当中每个词的情感重要性，根据情感重要性对情感隐含层向量赋予相应的权重，同时输出所有隐含层向量加权求和后的整个句子的加权情感向量表示；