[发明专利]一种基于Transformer的多粒度注意力模型的特定方面情感分析方法

说明书

一种基于Transformer的多粒度注意力模型的特定方面情感分析方法。该方法利用Transformer编码器模块和Tree Transformer编码器模块对特定方面和上下文进行语义建模，并结合注意力机制进行两部分交互特征的学习，进而获取有利于训练情感分析模型的特征。本发明在特征提取上除了获取词语级特征，还有效获取了体现语言层次结构及句法信息的短语级特征，此外，为避免单一池化造成部分有用信息的损失，本发明采用双池化操作。通过实验证明了该发明所述方法提高了特定方面情感极性判别的准确率。

技术领域

本发明属于自然语言处理中的文本情感分析技术领域，特别是涉及一种基于Transformer的多粒度注意力模型的特定方面情感分析方法。

背景技术

情感分析是自然语言处理中的重要任务之一，其通过计算机辅助算法分析相关文本，进而获取人们对于产品、服务、事件等对象所持有的意见、评价等主观感受。除了给出总体评价外，人们通常也会从实体的多个角度进行评价，导致一段语句中包含多个情感极性，若采用传统情感分析方法对整个句子进行情感极性分类，可能会使结果出现偏差。鉴于此，研究人员提出特定方面情感分析方法，其针对评论语句中各特定方面分别判定情感极性，逐渐成为情感分析的关键任务之一。例如，在关于餐厅的评论中“The food wasdefinitely good，but the price is too high.”，两个特定方面词“food”和“price”的情感极性分别为积极和消极。

近年来，深度学习方法特别是神经网络模型在自然语言处理任务中不断取得新的进展，在特定方面情感分析任务中也具有很好的表现。卷积神经网络(convolutionalneural network，CNN)在卷积层利用窗口一定的滤波器获取特征，但该模型只能获取窗口内的单词间依赖关系，无法获取整个文本的结构信息。循环神经网络(recurrent neuralnetwork，RNN)及其衍生模型，如长短时记忆网络(long short-term memory，LSTM)和GRU(gated recurrent units)将句子视为单词序列，获取隐含状态层的句法层面有效特征，在特定方面情感分析任务中获得了较好的结果，但是这类模型所采用的长短时记忆机制会导致情感语义的叠加，当句子中存在多个情感极性不一致的特定方面时，模型的分辨率会受到影响，并且句子中单词间的依赖程度会随着距离的增加而减弱。由于注意力机制可以有效地关注重点信息，因此将CNN或RNN等神经网络与注意力机制相结合，可使模型重点关注上下文中对判定相应特定方面情感极性的重要特征。这类模型虽然能够在训练时高度关注某些重要特征，但其通常使用的单一注意力模式，导致模型无法对特定方面与上下文间的交互关系进行深层次抽取。此外，该类模型还存两个问题：其一，在特定方面不是单一词语而是短语时，该类模型通常将几个词语的平均向量作为特定方面的表示，该方法虽然较为简单，但无法充分体现短语中每个词的特征，造成有用信息的损失；其二，在进一步获取特定方面与上下文间的交互特征时，该类模型通常将特定方面/上下文特征矩阵进行平均池化后分别学习与上下文/特定方面中每个词的注意力权重，但使用单一池化会造成部分有用信息的损失。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于Transformer的多粒度注意力模型的特定方面情感分析方法。

为了达到上述目的，本发明提供的基于Transformer的多粒度注意力模型的特定方面极性判别方法包括按顺序进行的下列步骤：

(1)利用向量空间模型，将待判定的上下文及其对应的特定方面用特征矩阵表示；

(2)将步骤(1)中获得的上下文和特定方面的特征矩阵作为输入，采用Transformer编码器模块分别获取上下文和特定方面的词语级特征；

(3)将步骤(1)中获得的上下文的特征矩阵作为输入，利用Tree Transformer编码器模块获取上下文的短语级特征；