[发明专利]基于多元注意力修正的方面级情感分析建模方法

说明书

本发明公开了一种基于多元注意力修正的方面级情感分析建模方法。本发明添加了方面词嵌入机制，将方面词与序列中每一个词表示拼接后再输入LSTM中，建立句子中单个词语与方面词之间的依赖关系；同时，在两个方向上的LSTM分别输出隐藏状态后，将其输出的隐藏状态与方面词嵌入拼接，对词语和方面之间的关系进行建模，从而加强方面词和上下文之间的依赖关系。本发明还使用多元注意力机制对结果进行修正，在计算出BLSTM的注意力权重后，分别生成句子在给定方面的加权向量，将其拼接起来对句子的加权向量进行修正，从而计算出当前句子序列的表示，提高对于上下文向量特征的捕获能力。

技术领域

本发明属于自然语言处理技术领域，特别是一种基于多元注意力修正的方面级情感分析建模方法。

背景技术

随着互联网的飞速发展，数字城市的概念走向台前，人们的生活方式发生了天翻地覆的变化，同时网络评论的数量也呈爆炸式增长，越来越多的人愿意在网络上表达自己的态度和情感，而非单纯地浏览与接受，大量的网络评论数据往往隐含着评论者的情感信息，如“开心”、“愤怒”、“沮丧”等。文本情感分析是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程，通过对评论文本中的情感信息的分析，可以提取出用户在一段评价文本中所表达的情感态度。

传统的情感分析将整段文本作为分析主体，可能导致评价词与主体之间的偏差，当文本中出现不同情感极性的评价时，传统的情感分析算法往往不能很好地捕获其情感倾向，于是需要引入方面级情感分析的概念，方面级情感分析是情感分析领域的一项根本任务。给定一段文本和这段文本中若干个方面，方面级情感分析任务的目的是推断这段文本中各个方面的情感极性，情感极性一般分为积极、消极、中性三种。对于一段店铺的评论文本，可以从中抽取出口味、环境、服务三个特征标签作为对店铺评价的三个方面，同一段评论文本，对于不同方面的情感极性可能是完全不同的两个极性。比如“这家店味道棒极了，就是服务态度太差了”这段评价文本中，对于口味的情感极性是积极的，对于服务的情感极性则是消极的，对于环境的情感极性是中性的。

方面级情感分析常用的方法包括基于情感词典和语言规则的方法、基于机器学习的方法、基于建模转换的方法。基于情感词典和语言规则的方法更接近于传统情感分析方法利用情感词典的解决思路，需要使用标注好的情感词典或语言规则来判别情感极性。基于机器学习的方法较为广泛地应用于方面级情感分析领域，其主要思想是将方面级情感分析任务建模成为分类问题，使用各类网络对文本与方面词的特征进行提取，最后通过Softmax输出其分类结果。基于建模转换的方法通过将方面级情感分析任务建模成其他问题来弥补将任务建模为分类问题的缺陷，常用的建模方案包括序列标注和阅读理解等。其中，基于情感词典和语言规则的方法泛用性较差，其分析结果的好坏大多取决于情感词典和语言规则的质量，常用的方法是基于机器学习的方法。

基于机器学习的方法常用的模型是使用LSTM或BLSTM捕获文本的上下文信息，然后使用注意力机制获取其注意力权重，最后通过Softmax完成对其的分类。然而传统模型中缺少对方面词和上下文关系的建模，当前文本对于方面词的依赖性较差，可能导致当前文本分析主体的偏移，从而导致分类精确度降低；同时，BLSTM在分别输出其上下文隐藏状态后将其拼接为完整的隐藏状态，计算句子在当前方面的加权向量，对于上下文向量特征的捕获力度较差。

发明内容

为了解决方面级情感分析存在上下文对方面词依赖性较差、上下文向量特征未充分捕获的问题，本发明提出了一种基于多元注意力修正的方面级情感分析建模方法。本发明添加了方面词嵌入机制，将方面词与序列中每一个词表示拼接后再输入LSTM中，建立句子中单个词语与方面词之间的依赖关系；同时，在两个方向上的LSTM分别输出隐藏状态后，将其输出的隐藏状态与方面词嵌入拼接，对词语和方面之间的关系进行建模，从而加强方面词和上下文之间的依赖关系；该模型还使用多元注意力机制对结果进行修正，在计算出BLSTM的注意力权重后，分别生成句子在给定方面的加权向量，将其拼接起来对句子的加权向量进行修正，从而计算出当前句子序列的表示，提高对于上下文向量特征的捕获能力。