[发明专利]一种结合注意力机制的深度学习多分类情感分析模型

摘要

本发明涉及一种结合注意力机制的深度学习多分类情感分析模型，属于自然语言处理技术领域，本发明分析了现有CNN网络和LSTM网络在文本情感分析方面的弱点，提出了一种结合注意力机制的深度学习多分类情感分析模型。该模型运用注意力机制将CNN网络提取的局部特征和LSTM模型提取的语序特征相融合，并在分类层采用集成模型的思想，分别将CNN网络和LSTM网络提取的情感特征拼接，作为模型最终提取的情感特征。通过对比实验，发现该模型的准确率有了显著的提高。

主权项

1.一种结合注意力机制的深度学习多分类情感分析方法，其特征在于包括以下步骤：步骤(1)数据预处理设情感数据集表示为：G＝[(segtxt₁,y₁),(segtxt₂,y₂),...,(segtxt_N,y_N)]，其中，segtxt_i表示第i个样本，y_i则为对应的情感类别标签，N表示数据集G中样本个数，对G中样本进行数据预处理，数据集G经预处理后，表示为G′＝[(seg₁,y₁),(seg₂,y₂),...,(seg_M,y_M)]，其中：seg_i表示为数据集G′中第i个样本，y_i则为对应的情感类别标签，M表示数据集G′中样本个数；步骤(2)构建模型的输入对于数据集G′中任意一个待分析样本数据(seg,y)，将其进一步细化表示为：seg＝[w₁,w₂,...,w_i,...,w_d]^T  (1)y＝[0,0,1,...,0]  (2)其中：w_i∈R^ε是指依据词表wordList对待分析文本中第i词语的one‑hot编码，ε为词表wordList的大小，d表示该文本的句长，y∈R^p是依据情感类别的one‑hot编码，p表示模型待分的类别数目，则该样本的词向量嵌入矩阵可表示为：X＝seg*E^T  (3)其中：X∈R^d×m，X＝[x₁,x₂,...,x_d]^T为待分析文本的词向量矩阵表示，m为词向量的维度，x_i∈R^m为该文本中第i个词汇的词向量表示，E为词向量嵌入层表示；步骤(3)构建深度学习多分类情感分析模型深度学习多分类情感分析模型包括基于CNN网络的局部特征提取阶段和基于LSTM网络的语序关系特征提取阶段，将基于CNN网络的局部特征提取阶段的池化层结果C_Cnn和基于LSTM网络的语序关系特征提取阶段的结果C'_Rnn拼接，即向量[C_Cnn；C'_Rnn]作为模型最终提取的特征向量，然后将特征向量[C_Cnn；C'_Rnn]经过全连接层得到最终的模型输出向量其中p表示模型待分的类别数目，所述的基于CNN网络的局部特征提取阶段，包括以下内容：局部特征提取阶段输入为公式3的待分析文本的词向量矩阵表示X；局部特征提取阶段基于CNN网络，一共包括两层，即一层卷积层、一层池化层，其中：卷积层采用n种不同尺度的卷积核对待分析文本进行卷积，且同一尺度卷积核的滤波器即神经元各k个；池化层采用最大池化层的方法将卷积所得的向量做下采样，选出局部最优特征，因此每个滤波器通过最大池化层变为一个标量，该标量代表着该滤波器中最优的情感特征；局部特征提取模块的输出为C_Cnn＝[c₁,c₂,...,c_nk]，即将池化层中不同尺寸的多个滤波器选取的最优特征拼接到一起C_Cnn＝[c₁,c₂,...,c_nk]作为本模块的输出，其中，C_Cnn∈R^nk，nk为卷积层中所有滤波器的个数；所述的基于LSTM网络的语序关系特征提取阶段，包括以下内容：多尺度CNN网络局部特征提取：将基于CNN网络的局部特征提取阶段中卷积层同一卷积尺度的k个滤波器的卷积结果拼接，得到集合Z_Cnn，然后将集合Z_Cnn中的每个向量Z_i输入到GLU机制中，即门控卷积网络，得到的结果记为{π₁,π₂,...,π_n}，完成多尺度CNN网络局部特征的提取，其中，Z_Cnn＝{Z₁,Z₂,...,Z_n}，Z_i为尺度为i的多个滤波器卷积结果的拼接；其中，Z_i代表某一尺度的k个滤波器卷积结果的拼接，W₁，W₂∈R^λ×q为权重矩阵，λ表示对应权重矩阵的维度，b₁，b₂∈R^q为偏置量，σ表示sigmoid函数，π_i∈R^q，q为LSTM网络的输出维度；然后，利用注意力机制，将多尺度CNN网络局部特征提取结果{π₁,π₂,...,π_n}融入到LSTM网络中，得到基于LSTM网络的语序关系特征提取阶段的输出结果C'_Rnn，即其中，表示待分析文本中最后一个词语所对应的LSTM模块的输出，表示待分析文本中第一个词语所对应的LSTM模块的输出，本发明采用双向LSTM模型，即BiLSTM模型，采用正向传播，具体计算过程如下：d为待分析文本的长度，该文本中每一个词语顺序对应一个LSTM模块，，正向传播过程中，第t‑1个LSTM模块的输出为则第t个LSTM模块的输出计算公式如下：其中：是两个向量的点乘，也称打分函数，是用来计算前一词语的LSTM的输出和当前局部特征向量的相似度，其中：α_t,i∈R代表特征π_i的权重，其中：s_t‑1∈R^q是多个卷积特征的加权结果，利用s_t‑1代替结合当前词语的词向量x_t求得当前LSTM模块的输出公式如下：采用反向传播，具体计算过程与正向传播一样，此处不再赘述；步骤(4)模型训练：将训练数据输入多分类情感分析模型，采用交叉熵损失函数，结合反向传播BP算法调整参数，利用softmax回归作为分类算法，完成训练；步骤(5)模型分析：将待分析文本输入训练完成的模型，最终输出对该文本分析后的情感分类结果。