[发明专利]一种基于注意力引导图LSTM关系提取方法及装置

权利要求书

1.一种基于注意力引导图LSTM关系提取方法，其特征在于，包括：

将需要进行关系抽取的文本进行预处理操作，得到原始邻接矩阵和包含上下文信息的词向量；

将所述原始邻接矩阵转换成完全连通的边加权图邻接矩阵；

将所述完全连通的边加权图邻接矩阵和包含上下文信息的词向量，输入图结构LSTM神经网络模型中，进行循环状态转换，得到实体隐藏状态数据；

将所述实体隐藏状态数据输入逻辑回归分类器，输出所述文本的关系类别标签；

将所述原始邻接矩阵转换成完全连通的边加权图邻接矩阵，包括：

通过多头自注意力机制将所述原始邻接矩阵转换成完全连通的边加权图邻接矩阵，具体包括：

输入所述原始邻接矩阵，建立注意力引导层模型，计算每组查询Query和键值Key-Value：

Q＝XW^Q

K＝XW^K

V＝XW^V

其中，Q表示Query，K表示Key，V表示Value，X表示输入序列，W^Q、W^K和W^V均表示权重矩阵；

计算每组查询Query和键值Key-Value相对应的权重值：

其中，表示第t个头注意力得到的邻接矩阵，为Q对应的参数矩阵，为K对应的参数矩阵，Q、K和V均表示注意力引导层模型中L-1层的输出，表示向量K的维度的平方根；

将每组与所述权重值相对应的Value值进行加权求和，输出完全连通的边加权图邻接矩阵；

将完全连通的边加权图邻接矩阵和包含上下文信息的词向量，输入图结构LSTM神经网络，进行循环状态转换，得到实体隐藏状态，包括：

获取所述边加权图邻接矩阵的隐藏状态，得到v_j的传入边和传出边的向量表示如下：

其中，表示边(i,j,l)，i表示源词索引，j表示目标词索引，l表示边标签，E_in(j)和E_out(j)分别表示v_j的传入和传出边的集合；表示边(j,k,l)，此时，j表示源词索引，k表示目标词索引，l表示边标签；

获取所述包含上下文信息的词向量的隐藏状态，得到传入单词和传出单词的状态表示如下：

其中，(i,j,l)表示边(i,j,l)，i表示源词索引，j表示目标词索引，l表示边标签；(j,k,l)表示边(j,k,l)，此时，j表示源词索引，k表示目标词索引，l表示边标签；E_in(j)和E_out(j)分别表示v_j的传入和传出边的集合，表示v_j传入边的隐藏状态，表示v_j传出边的隐藏状态；

根据所述v_j的传入边和传出边的向量表示，以及传入单词和传出单词的状态表示，得到循环状态转换表示如下：

其中，表示输入门，表示输出门，表示遗忘门，表示当前计算得到的信息流，表示所记录的的内存，W_a、U_a、b_a，a∈{i,o,f,u}均为模型参数，和分别表示v_j的传入边和传出边的向量，和分别表示传入单词和传出单词的状态；σ表示sigmoid激活函数；

根据所述循环状态转换，得到实体隐藏状态：

图LSTM神经网络通过循环状态转换过程在句子文本的单词与单词之间进行信息传递与交换，得到一系列图状态g₀，g₁，...，g_t，其中t表示在第t个状态转换步骤，表示在第t个状态转换步骤时单词v_j的隐藏状态，j表示单词索引，V表示图中节点单词的集合；从g_t-1到g_t的过渡包括每个单词的隐藏状态过渡。