[发明专利]基于双向LSTM和多头注意力机制的文本方面级情感识别方法

权利要求书

1.基于双向LSTM和多头注意力机制的文本方面级情感识别方法，其特征在于，包括以下步骤：

S1：获取方面词所在的上下文文本的词嵌入表示，即所在句子对应的矩阵形式；

S2：采用双向LSTM网络分别对局部上下文和全局上下文的词嵌入表示进行预处理，得到对应上下文文本的特征表示；

S3：局部上下文的特征表示通过上下文动态加权和多头自注意力机制得到局部特征，全局上下文的特征表示通过多头自注意力机制得到全局特征；

S4：根据局部特征和全局特征获得局部和全局共同关注的交互特征，将交互特征和局部特征通过动态权重拼接融合获得最终特征表示；

S5：将最终特征表示输入到线性层、softmax函数中进行情感预测，得到基于双向LSTM和多头注意力机制的文本方面级情感识别模型；

S6：对基于双向LSTM和多头注意力机制的文本方面级情感识别模型进行训练优化，将待识别的文本输入到训练好的模型中，得到该文本中特定方面词的情感识别结果。

2.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方法，其特征在于，获取方面词所在的上下文文本的词嵌入表示的过程包括：

S11：将局部上下文处理器的文本输入序列转换为“[CLS]+上下文+[SEP]”，得到局部上下文X^l；

S12：将全局上下文处理器的文本输入序列转换为“[CLS]+上下文+[SEP]+方面词+[SEP]”，得到全局上下文X^g；

S13：采用两个独立的BERT模型分别对局部上下文和全局上下文进行建模，两个BERT模型分别输出局部上下文的词嵌入和全局上下文的词嵌入其中d₁表示词嵌入的维度，n₁表示文本序列的长度；

其中，l表示局部上下文，g表示全局上下文；[CLS]为第一个句子句首的标志位；[SEP]为一个句子句尾的标志位。

3.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方法，其特征在于，获取预处理后的局部上下文和全局上下文的特征的过程包括：将局部上下文的词嵌入表示和全局上下文的词嵌入表示分别输入到各自的双向LSTM网络中，得到局部上下文预处理后的特征表示H^l和全局上下文预处理后的特征表示H^g。

4.根据权利要求3所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方法，其特征在于，双向LSTM网络由细胞状态c_t、隐藏状态h_t、遗忘门f_t、输入门i_t、输出门o_t组成；将局部上下文的词嵌入表示和全局上下文的词嵌入表示分别输入到各自的双向LSTM网络中，双向LSTM网络的计算公式为：

则上下文m中所有单词经过双向LSTM后的矩阵为：

其中，m表示上下文类型，且m∈{l，g}，l表示局部上下文，g表示全局上下文，t表示文本中第t个单词，n表示上下文文本的长度，为上下文m中第t个单词的词嵌入表示，表示上下文m中第t个单词经过双向LSTM网络后的隐藏层输出，表示前向LSTM计算，表示后向LSTM计算，表示矩阵H^m的维度是n×2d_m维，H^m，m∈{l，g}表示局部上下文和全局上下文经过双向LSTM网络预处理后的特征表示。