[发明专利]一种基于注意力机制的序列标注联合抽取实体关系的方法

权利要求书

1.一种基于注意力机制的序列标注联合抽取实体关系的方法，其特征在于：

该方法包括以下步骤：

步骤1、获取开放领域的实体关系数据集并进行预处理，预处理的过程是将该数据集分为训练集和测试集两部分，这两部分都包含待处理的语句，对其中包含的语句进行分词处理，使得语句转化为单独的词；

步骤2、将预处理后得到语句中的每个词经过嵌入层转换成向量表示，并输入到双向长短时记忆网络的编码层中进行编码；

步骤3、将编码层得到的输出经过带注意力机制的长短时记忆网络解码，并在其中加入注意力机制；

步骤4、经过softmax层基于标注预测向量输出实体标签化概率，补全和组合实体和关系，得到三元组。

2.根据权利要求1所述的一种基于注意力机制的序列标注联合抽取实体关系的方法，其特征在于：

步骤1具体包括以下步骤：

步骤1.1、获取开放领域的实体关系数据集，并对数据集中的所有数据进行去噪处理，包括去除无用空白字符、大写字母转换成小写；

步骤1.2、将数据集分成训练集和测试集；

步骤1.3、建立用户自定义词典，比如长词和专有名词，并利用哈工大自然语言处理工具LTP对语句进行分词。

3.根据权利要求1所述的一种基于注意力机制的序列标注联合抽取实体关系的方法，其特征在于：步骤2具体包括以下步骤：

步骤2.1、使用维基百科的语料训练Word2Vec词向量模型，词向量的维度为300；

步骤2.2、经过Word2Vec生成的词向量映射矩阵，获取每一个词对应的词向量，整个语句的词向量表示为{w₁,w₂,......w_n}，w_n表示第n个词语的词向量表示；

步骤2.3、将嵌入层转换的词向量输入到双向LSTM编码层，它包含正向LSTM层，反向LSTM层和连接层；

步骤2.4、通过双向LSTM编码层对上下文信息和语义信息进行编码，正向LSTM从w₁到w_n，反向LSTM从w_n到w₁，并在神经元的隐藏层输出整个语句的编码向量，计算公式如式(1)(2)(3)(4)(5)(6)所示；

i_t＝δ(W_wiw_t+W_hih_t-1+W_cic_t-1+b_i) (1)

f_t＝δ(W_wfw_t+W_hfh_t-1+W_cfc_t-1+b_f) (2)

z_t＝tanh(W_wcw_t+W_hch_t-1+b_c) (3)

c_t＝f_tc_t-1+i_tz_t (4)

o_t＝δ(W_wow_t+W_hoh_t-1+W_coc_t+b_o) (5)

h_t＝o_t tanh(c_t) (6)

式(1)(2)(3)(5)的i、f、z、o分别为输入门、遗忘门、更新门、输出门，式(4)中的c_t表示t时刻的细胞状态，(6)中的h_t表示t时刻的输出,W表示相关参数，式(3)中的W_wc和W_hc分别表示词的细胞状态的参数和输出的细胞状态的参数，式(1)(2)(5)中的W_wx、W_hx和W_cx分别表示x门的词的参数，输出的参数和细胞状态的参数，w_t表示第t个词，b表示偏置损失，δ表示sigmoid激活函数。

4.根据权利要求1所述的一种基于注意力机制的序列标注联合抽取实体关系的方法，其特征在于：步骤3具体包括以下步骤：

步骤3.1、将双向LSTM编码后的输出输入至LSTM解码；

步骤3.2、加入Attention机制，使模型学习上下文在实体中的位置和在关系中的角色，最终解码的结果由上一时刻预测的结果y_t-1，这一时刻的输入s_t和与此时刻相关的上下文标注序列cseq_t得到，计算公式如式(7)、(8)所示；

p(y_t|y₁,y₂,......,y_t-1,cseq)＝g(y_t-1,s_t,cseq_t)(7)

式(8)中L_x表示语句的长度，aseq_tj表示输入语句中第j个单词标注的注意力分配系数，h_j表示第j个单词的语义编码，cseq_t表示t时刻相关的上下文标注序列；

步骤3.3、输出解码后的序列。