[发明专利]一种基于语义-情感双重关注的细粒度文本情感转换模型

说明书

本发明涉及一种基于语义‑情感双重关注的细粒度文本情感转换模型，涉及自然语言处理领域，该方法包括先利用CNN提取输入语句字符级特征，再结合Glove词嵌入向量，一起送入双向LSTM中提取输入语句的上下文信息。然后在Seq2SentiSeq模型的基础上多加一条输入语句的情感强度嵌入分支，以及将该情感强度作为attention加入编码过程中，从而提高了模型的转换强度以及内容保存度。

技术领域

本发明涉及自然语言生成领域，尤其是一种基于语义-情感双重关注的细粒度文本情感转换模型。

背景技术

情感转换技术旨在保留原始语义内容的同时重新表述输入，以满足给定的情感标签。当前情感转换研究主要集中在正负情感极性的反转，细粒度情感转换则实现了对情感反转更细致和精确的情感控制，给定相同的输入，系统相应的生成范围从0(最负)到1(最正)的五个情感强度值的输出。该技术可用于自动转换评论的态度，打击网络上的暴力语言。

由于缺乏对齐语料，文本情感转换技术发展较为缓慢，依然存在许多问题亟待解决，比如内容的保存度、生成句子的流畅性等等。基于循环强化学习的细粒度情感转换模型可以解决这一问题。

发明内容

针对上述问题及技术需求，提出了一种基于语义-情感双重关注的细粒度文本情感转换模型，该方法在基于Seq2SentiSeq模型的基础上，先利用CNN提取输入语句字符级特征，再结合Glove词嵌入向量，一起送入双向LSTM中提取输入语句的上下文信息。然后在Seq2SentiSeq模型的基础上多加一条输入语句的情感强度嵌入分支，以及将该情感强度作为attention加入编码过程中，从而提高了模型的转换强度以及内容保存度。

本发明的技术方案如下：

一种基于语义-情感双重关注的细粒度文本情感转换模型，该模型包括字符级与词语级词嵌入部分，输入双向LSTM捕获源内容上下文信息部分，再分别计算语义和情感上下文向量，最后将其送入decoder端解码，获得生成的指定情感强度语句。通过循环强化学习算法来训练该模型。方法包括：

将输入语句送入CNN中，通过字符嵌入、卷积、最大池化得到句子的字符级表示；

将输入语句通过Glove词嵌入得到句子的词语级嵌入；

将以上两个嵌入结合起来，得到了句子的最终表示；

将该句子的最终表示送入双向LSTM中，双向LSTM具有良好的捕获上下文的能力，从而能得到输入句子的上下文信息；

为了在解码过程中更好的获取源语句的情感信息，在原Seq2SentiSeq模型已有语义关注层的基础上，增加一个情感关注层分支，通过Local Attention机制将源语句的情感强度信息加入编码过程；

将以上两个关注层得到的语义与情感上下文向量送入解码端，结合上一时刻的隐藏层向量、上一时刻的语义与情感层嵌入可得当前t时刻的解码器隐藏层状态；

当前时刻的解码器隐藏层状态通过softmax后可得整个词语的语义概率分布；

当前时刻的解码器隐藏层状态通过sigmoid函数并结合高斯核函数引入目标语句的情感强度v_y可得情感概率分布；

为了平衡情感转换与内容保存，通过一个超参数来控制两种概率的混合；

我们使用一个基于层级注意力的情感评分器来为生成的句子进行情感打分；

将上一个步骤所得的情感分数与目标情感强度分数比较，得到情感强度奖励r_s；

将生成语句通过以上编码解码重构回源语句，并比较重构的句子与源语句之间的情感强度差异，得到另一情感强度奖励r^’_s，总的情感强度奖励为以上两个奖励之和；