[发明专利]一种基于语义增强双编码器的方面级情感三元组抽取方法及系统

权利要求书

1.一种基于语义增强双编码器的方面级情感三元组抽取方法，其特征在于，包括：

根据基础上下文编码器学习文本表层语义信息；

根据特定上下文编码器学习文本特定于评论领域的特定语义信息；

接收文本的词性(POS)信息，句法依赖信息，通过图卷积网络建模文本的句法和结构信息；

设计一个新颖的编码交互策略，充分融合基础语义和特定态语义，使得学习到的文本语义能够通过不同的角度反应句子的真实表达。

2.根据权利要求1所述的一种基于语义增强双编码器的方面级情感三元组抽取方法，其特征在于：可以根据基础上下文编码器学习输入文本的表层语义信息，具体包括：

构建一个句子表示“[CLS]sentence[SEP]”，并将其作为输入送入基础编码器(主要由一个BERT编码器构成)，以获得单词的基本上下文语义h，其中[CLS]和[SEP]是BERT在句首和句尾添加的独特标记。此外，由于BERT基于子词拆分一个完整单词，导致获得的上下文特征h在维度上不符合句子长度。为了弥补这样的问题，为BERT设计了一个空格分词器——Whitetokenizer，记录每个被拆分成子词的单词。同时，通过平均集合对子词进行对齐操作，得到上下文语义h_b。这个过程可以简述如下：

h_b＝BERT(Whitetokenizer([[CLS]，ω₁，…，w_n，[SEP]]))

值得注意的是，在h_b中去除特殊标记[CLS]和[SEP]的隐藏状态，经过对齐后的其中d_b表示BERT的隐藏状态维度。

3.根据权利要求1所述的一种基于语义增强双编码器的方面级情感三元组抽取方法，其特征在于：可以根据特定上下文编码器学习文本特定于评论领域的特定语义信息，具体包括：

使用两种不同的语义查找表初始化文本嵌入。其中广义领域嵌入表表示单词在广义语境下的含义，特定领域嵌入表表示单词在特定于评论语境下的含义。其中，|v|表示查找表词典的大小。单词的词性信息从语言学的角度建立了单词之间的区别。具有不同词性的单词往往存在特定的搭配和区别。使用SpaCy获取每个单词的词性标签。然而，全部的词性标签数量多且大类重叠，为了区分并建模单词的大类词性，把词性标签归纳为其中p_noun，p_verb，p_adj，p_adv，p_others分别代表名词、动词、形容词、副词以及其余类别单词。基于此，设计一个可学习的POS嵌入编码单词的词性信息。单词经过3-domain嵌入的最终表示E：

如前所述，三元组的组成部分是高度上下文化的。因此，使用Bi-LSTM作为一个特殊的编码器来学习句子的上下文特征。经过几个门控单元和注意力机制，特定编码器将句子的嵌入序列作为输入，以获得上下文特征其中d_l表示隐藏状态的维度。可以把这个过程简化为：

X＝BiLSTM(E)

4.根据权利要求1所述的一种基于语义增强双编码器的方面级情感三元组抽取方法，其特征在于：可以接收文本的词性(POS)信息，句法依赖信息，通过图卷积网络建模文本的句法和结构信息，具体包括：

根据权力要求3中获得的特征X反映了文本的上下文特征，除此之外，文本的语法信息同样值得重视。为了学习文本的语法结构信息，设计了一个基于句法依赖树的多层图卷积网络(GCN)，这可以学习每句评论的语法信息，通过直接相关联单词的状态直接丰富当前单词的表示。具体实施中，Bi-LSTM的结果X作为初始状态，在相应的依赖树上执行多层图卷积运算，获得语法增强的上下文状态h_p，该过程可以总结如下：

其中，表示GCN网络每一层的输入特征。对于输入层W是每一层可训练的参数矩阵，是一个0-1邻接矩阵，它记录了单词间的连接情况。是的度矩阵，记录每个节点的邻居个数。