[发明专利]一种标签融合的联合抽取方法

权利要求书

1.一种标签融合的联合抽取方法，其特征在于，包括以下步骤；

S1：将字符特征输入到堆叠双向BiLSTM进行上下文特征提取；

S2：结合句子特征利用多头注意力机制来捕获字符特征；

S3：基于提取的字符特征，用CRF捕获预测第一阶段的实体标签；

S4：由BiLSTM和Self-Attention组成BLA单元，对识别的实体标签进行建模融合标签特征；

S5：将S1中堆叠的BiLSTM的上下文特征与BLA单元输出的标签特征进行拼接来预测第一阶段的实体关系；

S6用S5的实体关系结果构造图卷积的邻接特征矩阵，结合上下文特征得到图卷积特征；

S7将图卷积特征与堆叠的BiLSTM的上下文特征相加得到标签特征，并将第一阶段的实体标签共同输入到BLA单元中进行建模作为综合词特征；

S8将综合词特征与标签特征进行拼接后输入到BLA单元得到动态标签特征；

S9基于动态标签特征，用CRF预测第二阶段的实体标签；

S10通过标签门控将第一阶段的实体标签与第二阶段的实体标签进行融合，得到融合标签嵌入；

S11将融合标签嵌入与S8的动态标签特征输入到BLA单元中建模动态标签特征，得出第二阶段的关系预测。

2.根据权利要求1所述的一种标签融合的联合抽取方法，其特征在于：S1具体步骤为：

S101：对含有同一实体对e₁,e₂的句子集合T₁＝{s₁,s₂,…,s_n}，将集合中的每一条句子的单词映射到低维空间，得到句子的每个单词的词向量表示；

S102：将句子向量X_t＝{x₁,x₂,…,x_t}作为BiLSTM神经网络的输入，经过堆叠双向BiLSTM进行上下文信息特征提取，并将BiLSTM的输出作为注意力机制网络的输入；公式如下：

S103：在每个时间步中，将LSTM的前向和后向输出连接起来，得到最终的LSTM输出深度上下文特征ht；

3.根据权利要求2所述的一种标签融合的联合抽取方法，其特征在于：S2具体步骤为；

S201：首先通过使用不同的线性投影将输入向量h的矩阵映射到查询、键和值矩阵，多头注意力计算公式如下：

head_i＝Attention(QW_i^Q，KW_i^K,VW_i^V)；

S202：采用z个平行头在通道的不同部位进行注意操作，并进行拼接，输出字符特征，公式如下:

M＝Concat(head₁,...,head_z)W^Q。

4.根据权利要求3所述的一种标签融合的联合抽取方法，其特征在于：S3具体步骤为：

S301：在实体标签标记中，使用CRF对全局最优标记进行划分；给定字符特征M所有可能的序列Y的评分由以下公式计算得出：

S302：用Softmax函数归一化得到Y序列标签的最大概率，以一系列预测标记L＝[l₁,...,l_n]作为输出，公式如下：

S303：在训练CRF时，使用最大似然估计作为损失函数来最大化P(Y|M),公式如下：

S304：利用Viterbi算法求得所有序列上预测总得分的最高标签，作为序列的实体识别结果，公式如下：

loss_1st-ner＝agrmax_Y′∈f(M)log(P(Y′|M))。