[发明专利]一种基于Bert的双通道Attention模型的文本情感分析方法

说明书

本发明提供一种基于Bert的双通道Attention模型的文本情感分析方法，涉及人工智能技术领域，包括：对文本数据集进行预处理，并通过Bert模型转化为词向量；将词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；将全局特征信息和局部特征信息分别输入注意力层，注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；融合全局特征向量和局部特征向量，输入全连接层；将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。本发明充分挖掘文本的深层语义信息，提高了情感分类的准确率。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种基于Bert的双通道Attention模型的文本情感分析方法。

背景技术

随着物流的发展和网上购物平台的普及，使得人们的在线购物更加高效与频繁，越来越多的人们通过网上购物平台购买自己需要的产品，并发表自己对于产品的评价，例如在淘宝平台中进行购物并对购买的产品发表自己关于产品以及客服态度和物流的观点，如何从购物平台中的文本评论信息中分析出信息发布者的情感倾向，是自然语言处理领域的一个重要内容。

情感分析的主要任务是针对各种带有主观性情感倾向的文本，通过对文本进行预处理、语义信息分析、总结及对文本所携带的情感倾向进行预测。目前，文本情感分析的方法主要有基于情感词典、基于机器学习和基于深度学习这三种方法。基于情感词典的文本情感分析主要依赖于情感词典的构建，构建合适的情感词典需要消耗大量的人力资源，同时各种新词语层出不穷，情感词典也需要不断进行更新维护才能保证情感词典的质量；基于机器学习的文本情感分析，首先需要使用人工的方法对数据集按照需求进行标注，标注好的数据集会被作为训练集，之后，利用机器学习的一些方法在训练集上进行特征提取并获取机器学习的模型，最后使用该模型对文本进行情感分析进而输出情感分析结果，文本情感的提取方法和分类器的设计对基于机器学习的文本情感分析方法的结果有至关重要的决定作用，同时机器学习的方法还依赖于人工标注数据的质量，还存在维度爆炸和特征稀疏的缺点，在特征提取上比较困难。

近来，自然语言领域逐渐应用深度学习的技术进行研究，卷积神经网络、长短期记忆网络和注意力机制等广泛应用在自然语言领域，在文本情感分析中的应用也较多，这些技术可以学习到文本深层次的信息，一定程度上提高了情感分类的准确度，但是仍旧存在无法挖掘到文本更多的隐含信息，存在对文本的语义信息利用不充分，准确率不高等问题。

发明内容

针对上述社交网络中隐私信息扩散传播问题，本发明提供了一种基于Bert的双通道Attention模型的文本情感分析方法，充分挖掘文本的深层语义信息，提高了情感分类的准确率。

为实现上述目的，本发明提供了一种基于Bert的双通道Attention模型的文本情感分析方法，包括：对文本数据集进行预处理，并通过Bert模型转化为词向量；

将所述词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

将所述全局特征信息和所述局部特征信息分别输入注意力层，所述注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，输入全连接层；

将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。

作为本发明的进一步改进，采用爬虫技术获取产品的评论内容，构建所述文本数据集。

作为本发明的进一步改进，所述对文本数据集进行预处理，包括：

将不包含情感信息的空格符、标点符号、无法识别的表情符号及链接去除；

将自动好评去除；

将数字和字母大小写统一化；