[发明专利]一种基于Transformer的实体关系联合抽取方法、介质及系统

权利要求书

1.一种基于Transformer的实体关系联合抽取方法，其特征在于，包括以下步骤：

获取互联网数据集，并对互联网数据集进行如下预处理，将数据集中的句子与对应的三元组用预设的标识符连接起来，并标注主实体、关系和副实体的开始位置和结束位置，并且涉及到多个三元组时需要预设的分隔符，同时训练数据需要预设的开始和结束标识符，处理后的数据如下；

将处理过后的数据集中的每个字进行向量化映射，同时通过每个字在句中的位置计算出位置向量，输入到基于Transformer的神经网络模型中，再通过反向传播算法进行训练，得到基于Transformer的实体关系联合抽取模型；

将需要进行实体关系抽取的句子输入到训练完成的基于Transformer的实体关系联合抽取模型中，预测出句子中的三元组。

2.根据权利要求1所述的一种基于Transformer的实体关系联合抽取方法，其特征在于，所述基于Transformer的神经网络模型的训练过程包括：

1)将输入句子中的每个词或字映射成对应的字向量；

2)在编码层，把训练样例中的每个字对应的字向量作为输入，采用Transformer编码器学习句子中每个字的上下文信息,同时得到表示向量H_l；

3)在通过分类器预测出训练样例中的主实体，其中通过二进制分类器，分别预测出训练样例中每个主实体的开始位置p^start和结束位置p^end，以及主实体的向量表示

4)在解码层中，将编码器输出的表示向量H_l与二进制分类器预测出的主实体通过预设的方式拼接或者简单相加，得到新的上下文表示向量M_l，在对M_l进行解码，通过二进制分类器分类出副实体；

5)根据得到的标签的向量表示进行计算，得到主实体、关系和副实体分别所在的开始位置和结束位置；

6)选取所有样本的最大似然函数作为模型的目标函数；

7)通过反向传播算法训练模型，更新模型中所有的参数，最终得到收敛的实体关系联合抽取模型。

3.根据权利要求1或2所述的一种基于Transformer的实体关系联合抽取方法，其特征在于，所述根据训练集中的训练样例和三元组信息，使用特殊的标识符处理，其中，训练样例需要至少两种标识符，分别是开始标识符和结束标识符；该样例的三元组信息需要至少三种标识符，分别是开始标识符、分隔符和结束标识符；其中，三元组处理后的数据如下：

[SOS]h⁽¹⁾,r⁽¹⁾,t⁽¹⁾[S2S_SEQ]

h⁽²⁾,r⁽²⁾,t⁽²⁾[S2S_SEQ]

...

h⁽ⁿ⁾,r⁽ⁿ⁾,t⁽ⁿ⁾[EOS]

其中h,r,t分别代表主实体，关系和副实体，[SOS],[S2S_SEQ],[EOS]分别表示三元组的开始标识符，三元组分隔符和三元组结束标识符。

4.根据权利要求2所述的一种基于Transformer的实体关系联合抽取方法，其特征在于，所述1)将输入句子中的每个词或字映射成对应的字向量，具体包括：

利用通过word2vec训练得到训练集的字向量表示，将输入训练样例中的每个字映射成对应的字向量，选取训练样例中长度最长的值为max_len,当句子长度小于max_len用特殊的占位符补充。