[发明专利]一种基于方面的情感分析中Bert性能改进方法

说明书

本发明属于深度学习技术领域，具体涉及一种基于方面的情感分析中Bert性能改进方法，包括如下步骤：对中文语料数据集中的多条中文语料进行文本预处理，以获得所述多条中文语料对应的多个序列；使用BERT模型提取每个序列的词嵌入；采用BERT、LSTM和CNN对每个序列进行特征提取，以获得每个序列对应的文本深层语义特征；通过对损失算法进行修改；通过使用条件随机场替换现有BERT情感分析模型使用的交叉熵损失；通过使用softmax分类器对所获得的文本深层语义特征进行分类，来对模型进行训练和测试，进而实现情感极性预测分析。本发明通过改进模块等方式，极大地提高的Bert模型在基于方面的情绪分析的性能。

技术领域

本发明属于深度学习技术领域，具体涉及一种基于方面的情感分析中Bert性能改进方法。

背景技术

基于方面的情绪分析(ABSA)研究的是消费者对市场产品的意见，它包括检查在产品评论中表达的情绪类型和情绪目标。分析评论中使用的语言是一项艰巨的任务，使用的Bert深度学习模型在基于方面的情感分析上研究还不够深入，模型的性能还有待提升。

现有技术存在的问题或者缺陷：基于方面的情感分析可以研究消费者对产品具体某一方面的情感极性，这需要对语言有着深刻的理解，目前的深度学习模型Bert在这方面有较大进展但还是有改进性能的空间未被发掘。

发明内容

本发明提出两个模块分别为并行聚合模块和层次聚合模块，并行聚合主要是通过整合Bert最后四层中每一层的信息来实现的，而层次聚合是通过在每一个隐藏层之后添加Bert层，在于前一层进行聚合实现。

一种基于方面的情感分析中Bert性能改进方法，包括如下步骤：S1、对中文语料数据集中的多条中文语料进行文本预处理，以获得所述多条中文语料对应的多个序列；

S2、使用BERT模型提取每个序列的词嵌入；采用BERT、LSTM和CNN对每个序列进行特征提取，以获得每个序列对应的文本深层语义特征；且在BERT模型添加并行聚合模块和层次聚合模块，所述并行聚合主要是通过整合情感分析模型最后四层中每一层的信息，所述层次聚合是通过在每一个隐藏层之后添加Bert层；

S3、通过对损失算法进行修改；通过使用条件随机场替换现有BERT情感分析模型使用的交叉熵损失；

S4、通过使用softmax分类器对所获得的文本深层语义特征进行分类，来对模型进行训练和测试，进而实现情感极性预测分析。

进一步的，S1中，所述对中文语料数据集中的多条中文语料进行文本预处理的步骤包括：针对所述中文语料数据集中的每条中文语料，将该条中文语料中的文本字符化，其中，在获得的该条中文语料对应的序列中，用CLS作为该序列的第一个标记，通过SEP对该序列进行分割。

进一步的，S2中，所述并行聚合：深层模型的隐藏层可以被更多地利用来提取区域的特定信息；因此可以通过增加一个Bert层并使用每一层进行预测来利用Bert模型的最后四层，原因是所有较深的层都包含关于任务的大部分相关信息，因此，从它们中的每一个中提取这些信息并组合它们可以产生更丰富的语义表示。

进一步的，S2中，所述层次聚合：通过在每个隐藏层上应用一个Bert层之后，它们将与前一层聚合；同时，与并行聚合相似，同样使用每个输出分支进行预测，并最后对损失进行求和，其目标是从BERT模型的隐藏层中提取更多的语义。

进一步的，S2中，采用12层的注意力机制来提取更深层次的文本语义特征，所述CNN中的卷积层采用1维卷积，其中池化层采用最大池化，在通过LSTM处理序列形式的文本数据时，产生序列化的输出数据，以将提取到的文本特征向量与CNN、BERT中的数据拼接融合在一起，在经过全连接层后再进入分类器。

进一步的，S3中所述条件随机场所述条件随机场是一种图形模型，提升标签的联合分发性能，其中计算标签的联合概率的公式为: