[发明专利]一种基于CPC-ANN的文本情绪原因识别方法

说明书

本发明公开了一种基于CPC‑ANN的文本情绪原因识别方法，属于自然语言处理文本情绪分析技术领域。一种基于CPC‑ANN的文本情绪原因识别方法，CPC‑ANN模型主要分为五层：嵌入层、Bi‑LSTM层、Transformer层、注意力层以及CNN输出层，在CANN方法的基础上提出一种基于上下文和位置交互的协同注意力神经网络模型，先将子句的相对位置信息编码到子句的每个词向量中，再通过双向长短时记忆网络Transformer网络来捕捉子句的语义信息，以帮助产生更好的子句表示；然后，使用注意力机制来捕获融合了上下文子句信息的候选原因子句和情绪子句之间的语义关系；最后，利用卷积神经网络对候选原因子句进行分类。本发明解决了目前的文本情绪原因识别方法对语义和位置信息利用不充分的问题。

技术领域

本发明属于自然语言处理文本情绪分析技术领域，具体涉及一种基于CPC-ANN的文本情绪原因识别方法。

背景技术

文本情绪原因识别是社交媒体领域中一个重要的研究任务，其主要目标是从社交媒体文本中发现个体情绪产生、变迁的原因。对社交媒体文本中的情绪进行情绪原因识别，可以分析社交媒体中个体情绪变迁的原因和趋势，有利于相关部门进行重大决策且提高其决策的针对性和预见性。

传统的基于规则的方法耗费人工且规则构建复杂，而基于统计与机器学习的方法在特征的抽取上存在主观性过强的问题。近年来，深度学习方法在文本情绪原因识别任务上取得了较好的成果，但在现有的工作中，仍存在一些不足。例如，Li等人提出了一种基于协同注意力神经网络的情绪原因识别方法，该方法借助协同注意力机制来捕获每个候选原因子句和情绪子句之间的交互关系，但忽略了文本中候选原因子句的上下文语义信息，也未能在结合子句的相对位置信息时考虑候选原因子句与情绪子句之间的语义关系。考虑子句的相对位置信息，Xia等人为每个子句的相对位置学习一个嵌入向量作为分类特征，即将相对位置嵌入向量连接到子句的表示中，这种方法对相对位置信息的利用较弱，对候选原因子句的分类影响较小，且增加了特征维数，可能会导致过拟合。

文本情绪原因识别主要是对文本中的情绪原因进行分析，根据情绪文本中存在的情绪，来识别产生这种情绪的具体原因。近年来，关于情绪原因识别的相关研究从早期基于规则和传统机器学习方法，逐步发展为基于深度神经网络来进行建模。但目前的深度学习方法仍具有一定的局限性，它们大都大多都未能充分学习文本句子语义信息和文本子句的上下文信息，以及未能在结合子句的相对位置信息的情况下，来考虑候选原因子句与情绪子句之间的语义关系。

发明内容

1.要解决的技术问题

本发明的目的在于提供一种基于CPC-ANN的文本情绪原因识别方法，以解决上述背景技术中提出的问题：

目前的文本情绪原因识别方法对语义和位置信息利用不充分的问题。

2.技术方案

一种基于CPC-ANN的文本情绪原因识别方法，CPC-ANN模型主要分为五层：嵌入层、Bi-LSTM层、Transformer层、注意力层以及CNN输出层，所述方法应用于文本情绪原因识别，包括以下步骤：

S1、相对位置嵌入层，获取已标注原因子句和情绪子句的语料文本，得到文本每个子句的相对位置，再将子句转化为词嵌入矩阵，然后将相对位置嵌入到文本子句的每个词向量中；

S2、Bi-LSTM层，使用Bi-LSTM分别对每个输入的文本子句进行编码，得到融合词上下文的子句向量；

S3、Transformer层，使用Transformer分别对每个输入的文本子句进行编码，得到融合深层语义特征的子句向量；

S4、注意力层，将候选原因子句与其上下文子句融合，用注意力机制捕捉融合后的候选原因子句与情绪子句间的语义关系；