[发明专利]一种基于预训练模型结合句法子树的关系分类方法

权利要求书

1.一种基于预训练模型结合句法子树的关系分类方法，其特征在于包括以下步骤：

步骤(1)对数据集中的句子S进行分词，构建输入序列；将输入序列通过BERT预训练模型，获得每个词的输入词向量、整句话的句子表征向量、两个需要预测关系类别的实体向量；

步骤(2)对数据集中的句子S，利用Spacy工具进行依存句法分析，得到句子中词与词之间的边、边的类别以及句法依赖树，利用映射函数将边的类别转换成边的类别id；

步骤(3)以句法依赖树中两个实体为叶子节点，并计算两个叶子节点的最近公共祖先节点；获得以最近公共祖先节点为根，两个实体节点为叶子的子树，将输入词向量中该子树部分的词向量、边的类别id、边输入到递归神经网络RvNN进行计算，得到每个子树表征向量；

步骤(4)将所有子树表征向量进行最大池化，得到句子的树表征向量；

步骤(5)将句子表征向量、句子的树表征向量、两个需要预测关系类别的实体向量进行拼接输入到softmax分类函数中进行分类，预测关系类别。

2.根据权利要求1所述的一种基于预训练模型结合句法子树的关系分类方法，其特征在于所述步骤(1)具体实现过程如下：

1-1首先利用Spacy工具包对句子S进行分词构建输入序列Se＝{w1，w2，…，wn}，其中n表示序列的长度，w1，w2，…，wn为句子的每一个词；

1-2假定两个实体为e1，e2，在输入序列构建完成之后，将会被输入到BERT预训练模型中得到每个词的输入词向量H∈R^d×n、整句话的句子表征向量SV、两个需要预测关系类别的实体向量E1，E2；其中d为词向量的维度，n为序列长度，SV，E1，E2的维度为1×768，过程表示为下式：

SV，H＝BERT(Se)＝SV，{h1，h2，…，hn} (1)

其中，h1，h2，…，hn为BERT预训练模型编码之后的输入词向量，SV为句子表征向量，Se为步骤1-1中输入序列，BERT为预训练模型；实体e1，e2对应实体向量即为E1，E2。

3.根据权利要求1所述的一种基于预训练模型结合句法子树的关系分类方法，其特征在于所述步骤(2)具体实现过程如下：

2-1将句子S输入到Spacy句法分析工具中：

I＝nlp(S) (2)

公式(2)中S为输入的句子，nlp为加载Spacy依存句法分析工具包，I为输出；对输出I进行预处理，从而获得句法依赖树上的边Edge以及边的类别EdgeType；利用映射函数将边的类别EdgeType转换为边的类别id，即EdgeTypeId。