[发明专利]基于双向LSTM和多头注意力机制的文本方面级情感识别方法

说明书

本发明涉及自然语言处理、深度学习、方面级情感分析领域，特别涉及一种基于双向LSTM和多头注意力机制的文本方面级情感识别方法，包括获取方面词所在的上下文文本的词嵌入表示；采用双向LSTM网络获取局部上下文和全局上下文的特征表示；局部上下文的特征表示通过上下文动态加权和多头自注意力机制得到局部特征，全局上下文的特征表示通过多头自注意力机制得到全局特征；根据局部特征和全局特征获得局部和全局共同关注的交互特征，将交互特征和局部特征通过动态权重拼接融合获得最终特征表示；将最终特征表示输入到线性层、softmax函数中进行情感预测；本发明对特征进行动态融合，从而提高了文本方面级情感识别的准确率。

技术领域

本发明涉及自然语言处理、深度学习、方面级情感分析领域，特别涉及一种基于双向LSTM和多头注意力机制的文本方面级情感识别方法。

背景技术

随着互联网的广泛普及，电子商务、社交媒体等应用产业得到迅猛发展，手机网民规模也不断扩大，越来越多的人通过互联网进行沟通交流，因此互联网上产生了大量的用户对于诸如人物、事件、产品等有价值的评论信息，这些评论信息表达了人们的情感色彩和情感倾向。通常这些海量的文本数据都蕴含着巨大的商业价值，但是如何挖掘出其中有效的信息则是我们需要考虑的问题。以网上购物为例，评论数量量巨大，用户很难快速定位到自己关注的商品某个特定方面的信息，单纯通过个人浏览在线评论，获得该商品的综合评价显然是不现实的。传统的情感识别只是识别一个评论整体的情感倾向，对商品所包含的具体方面、属性等并不关注，这种粗粒度的情感识别不但导致了信息提取不充分问题，更无法识别用户所关注的商品特定方面的情感倾向。所以在这种情况下，有必要建立一个对文本进行方面级别情感识别的系统。随着深度学习算法的快速发展，利用自然语言处理领域的相关技术进行文本方面级别的情感识别可以很大程度改善和提高文本有效信息的获取。

对于文本方面级情感识别，其挑战之一在于如何即考虑到文本中的长期依赖关系又突出局部信息的重要性。文本中的方面词是包含在上下文中的，故方面词的情感与整个上下文是存在联系的，但同时与方面词情感相关的信息主要集中在它的局部上下文中，局部信息显得更加重要，以前的方法大都忽略了局部信息的重要性。其挑战之二在于如何将文本中不同的特征进行有效融合，对于文本方面词来说，其包含的特征可以大致分为局部特征、全局特征以及共同关注的交互特征，以往研究大多直接将全局特征或交互特征作为方面词情感的输出，没有进行有效的融合或融合不充分，就会导致输出的特征不够全面、准确。

发明内容

为解决以上现有技术问题，本发明提出了一种基于双向LSTM和多头注意力机制的文本方面级情感识别方法，包括以下步骤：

S1：获取方面词所在的上下文文本的词嵌入表示，即句子所对应的矩阵形式；

S2：采用双向LSTM网络分别对局部上下文和全局上下文的词嵌入表示进行预处理，得到对应上下文文本的长期依赖关系和特征表示；

S3：局部上下文的特征表示通过上下文动态加权和多头自注意力机制得到局部特征，全局上下文的特征表示通过多头自注意力机制得到全局特征；

S4：根据局部特征和全局特征获得局部和全局共同关注的交互特征，将交互特征和局部特征通过动态权重拼接融合获得最终特征表示；

S5：将最终特征表示输入到线性层、softmax函数中进行情感预测，得到基于双向LSTM和多头注意力机制的文本方面级情感识别模型；

S6：对基于双向LSTM和多头注意力机制的文本方面级情感识别模型进行训练优化，将待识别的文本输入到训练好的模型中，得到该文本中特定方面词的情感识别结果；

其中，本发明中局部上下文指的是由句子中方面词所处位置前后几个单词共同组成的小范围，具体词的数量由用户自行设置；全局上下文指的是整个句子。

进一步的，获取方面词所在的上下文文本的词嵌入表示的过程包括：