[发明专利]一种基于神经主题模型增强的情感分析方法、系统及设备

权利要求书

1.一种基于神经主题模型增强的情感分析方法，其特征在于，所述方法包括以下步骤：

S1、预处理：对预训练文本进行数据预处理操作；分别获取数据预处理后的文本的词袋模型表示，以及文本中词语的词向量表示；

S2、神经主题模型训练：将词袋模型表示的文本输入神经主题模型，得到文本的全局主题表示，以及完成神经主题模型的训练；

S3、情感分析模型训练：将词向量表示的文本中的每个句子输入到BERT预训练模型，学习出每个句子的向量表示，用于后续学习文本级别的表示；

将句子的向量表示输入Bi-GRU模型，获取句子的特征；

Bi-GRU模型中拼接注意力机制，通过注意力机制将句子的特征结合全局主题表示接入情感极性模型，得到情感分析结果；

完成对Bi-GRU模型、注意力机制、情感极性模型的训练；

S4、当对待分析文本进行情感分析时，对待分析文本进行S1的预处理，然后从神经主题模型输出文本的全局主题表示，从Bi-GRU模型获取融合了全局主题表示的文本全局表示，再接入情感极性模模型得到情感分析结果。

2.根据权利要求1所述的基于神经主题模型增强的情感分析方法，其特征在于，数据预处理操作包括以下步骤：

将预训练文本进行词语分割，句子分割，保存句子信息、每个句子的词语信息；去掉待处理文本中的无效信息；将分割出的词语进行标准化处理。

3.根据权利要求2所述的基于神经主题模型增强的情感分析方法，其特征在于：

使用斯坦福NLP工具将待处理文本进行词语分割，句子分割；无效信息包括空格、标点符号、换行符；标准化处理包括词性还原、词干提取。

4.根据权利要求2或3所述的基于神经主题模型增强的情感分析方法，其特征在于：S1具体包括以下步骤：

将标准化处理后的词语表示成离散化的词袋模型表示；

获取每个句子中每个词语的词向量表示，每个句子的词向量变成矩阵输入。

5.根据权利要求4所述的基于神经主题模型增强的情感分析方法，其特征在于：

词袋模型选用gemsim的词袋模型表示工具；词向量表示调用gensim的Word2vec表示。

6.根据权利要求1所述的基于神经主题模型增强的情感分析方法，其特征在于：S2包括以下步骤：

离散化的词袋模型表示输入到神经主题模型，神经主题模型通过基于高斯分布的VAE模型表示成中间表示，即全局主题表示，并且重构出文本，完成神经主题模型的训练。

7.根据权利要求6所述的基于神经主题模型增强的情感分析方法，其特征在于：

将词袋模型表示的文本x输入神经主题模型，神经主题模型通过公式求解高斯分布的参数μ和σ，即完成神经主题模型的训练：

(μ,logσ)=Encoder(x),ε~N(0,I)；         （1）

z=μ+σ*ε；                             （2）

其中，μ为高斯分布的均值，σ为高斯分布的方差，ε为标准的正态分布，z为基于高斯分布的中间表示，即全局主题表示。

8.根据权利要求4所述的基于神经主题模型增强的情感分析方法，其特征在于：

BERT模型包括768个隐藏层；将每个句子的词向量矩阵输入到BERT模型中，将BERT模型最后的隐藏层的第一符号CLS作为整个句子的序列s_i，接入到Bi-GRU模型，获取句子的特征；

学习到的句子序列s_i，使用Bi-GRU模型编码句子序列s_i，得到每个句子的h_i，用于捕获整个文本的上下文信息；h_i表示前向和后向隐藏状态的结合；

情感极性模型采用softmax函数，通过softmax函数预测待处理文本的情感极性。