[发明专利]基于卷积神经网络和改进级联标注的快速关系抽取方法

权利要求书

1.基于卷积神经网络和改进级联标注的快速关系抽取方法，其特征在于：具体步骤如下：

1）卷积神经网络编码：

基于由膨胀卷积、门控单元和残差连接组成的深度神经网络的文本编码器将初始文本进行编码，得到具有丰富上下文语义的文本编码表示；

所述步骤1）具体如下：

给定一个预定义的关系集合R，对于所有的自然文本S，其包含一个实体集合E和对应的实体类型集合T，关系抽取的任务是抽取出所有的关系三元组，其中三个变量分别代表关系三元组中的头实体、关系和尾实体，关系三元组的集合用Z表示，即；

假设输入编码器的自然文本的向量表示为，其中每个字符单元的向量表示都是其对应的静态预训练词向量和可训练的位置向量的线性组合，该基于卷积神经网络的编码器包含L个堆叠的块，用Block(·)来表示，那么输入文本经过编码器编码之后得到的具有上下文语义的文本向量特征表示，其中w表示x经过卷积神经网络编码得到的向量特征，计算如下：

其中编码器包含的每一个Block都是由两个膨胀卷积，一个门控单元和一个残差连接组成的；

将膨胀卷积表示为DilatedConv(·)，并以此来映射输入文本向量表示X到输出中间文本向量表示的过程：

其中下标中的a和b表示两个不同的膨胀卷积得到的结果；

在两个膨胀卷积之上实现一个门控单元，同时，加入一个残差连接，第i层Block的最终输出即为：

其中sigmoid是一个激活函数，将每个维度的数值映射到0～1之间，然后与逐位相乘，下标i表示此时为第i个Block的输出结果，同时也是第i+1个Block的输入向量，最终的文本向量特征表示H即为最后一个Block即第L个堆叠的Block的输出结果；

2）头实体标注器：

根据得到的文本编码，采用改进级联标注，头实体标注器标注出所有头实体的跨度以及它们对应的实体类型；

所述步骤2）具体如下：

将文本向量表示H通过一层自注意力网络得到头实体辅助特征；然后，将文本向量特征H与头实体辅助特征进行拼接之后通过两个全连接层的计算；最后，针对每一种预定义的实体类型，使用起始指针和结束指针来分别标注头实体的起始位置和结束位置，得到所有的头实体的跨度表示以及对应的实体类型；

所述步骤2）中头实体辅助特征的计算方式为：

其中均为神经网络中可训练的参数，而是每个向量的维度大小;

对于头实体的标注过程，将所述步骤1）得到的文本向量表示与头实体标注特异性特征进行拼接，然后，针对文本中的每一个位置，分别计算第i个位置和第j种实体类型作为头实体的起始位置的得分和结束位置的得分，计算方式为：

其中作为头实体的起始位置的表示记号，作为头实体的结束位置的表示记号，而均为神经网络中可训练的参数；

当某个位置的得分高于其对应位置的自适应阈值时，标注器会将其标注为1，否则标注为0；

所述步骤2）中自适应阈值的具体实现方式如下：

首先分别定义正类集合和负类集合，以及自适应阈值对应的AT类型的集合，该集合包含所有的头实体起始位置对应的AT阈值位置，在训练阶段，具体的实现过程如下：

其中得分表示头实体的起始位置在标注类型j的时候位置i上的得分；

最终的头实体标注阶段的总损失即为起始位置标注损失 和结束位置标注损失的加和：

通过上述头实体标注器标注头实体过程，将所有待抽取的头实体的跨度及其对应的实体类型抽取出来；

3）头实体类型与关系类型映射：

通过文本编码表示和头实体的特征表示；

所述步骤3）具体如下：

维护一层实体类型嵌入层和一层相对位置嵌入层，首先，根据所述步骤1）得到的文本向量表示H，获得头实体的起始位置特征和结束位置特征，根据实体类型嵌入层获得头实体类型特征，根据相对位置嵌入层获得相对位置特征和，然后，将上述所有的特征进行拼接即来组成最终的头实体特征，通过头实体类型与关系类型映射机制，确定当前头实体对应的所有潜在关系集合R’；

4）尾实体标注器：

尾实体标注器标注出每个头实体对应的所有的尾实体；

所述步骤4）具体如下：

模型的尾实体标注器执行尾实体标注的过程，首先，使用一层注意力来生成尾实体标注辅助特征，接着，将文本向量特征H，尾实体辅助特征和头实体特征拼接起来，其最终的预测特征表示为形式；

尾实体标注器根据关系集合R’分别计算第i个位置和第j种关系类型作为头实体的起始位置的得分和结束位置的得分，计算公式如下：

其中均为神经网络中可训练的参数,损失函数采用和头实体标注相同的损失函数；

所述步骤4）中自适应阈值的具体实现方式如下：

假设训练集中的所有文本句子集合用来表示，接着用来表示句子中的所有关系三元组，进一步的得到总体的损失函数由两部分来组成：

经过尾实体标注器标注尾实体过程，完成了针对所有的关系及其对应的尾实体的抽取过程，从而构成了所有的关系三元组；

5）快速关系抽取模型训练及预测：

通过真实世界中的关系抽取任务来验证；

所述步骤5）训练阶段具体如下：

首先，基于卷积神经网络将静态预训练词向量表示的自然文本编码表示为具有丰富上下文语义的句子表示，接下来，通过改进级联标注来对实体和关系进行标注，最后，对于模型的标注与真实标签之间的差异，采用排序损失进行损失计算，遵循监督学习的方式来优化模型的损失，更新模型的网络参数，最终得到训练完成的快速关系抽取模型；

所述步骤5）预测阶段具体如下：

首先，将待抽取的原始文本利用静态预训练词向量表示，接下来，使用快速关系抽取模型来进行前向计算，最后，将模型最终的计算结果进行解码得到抽取出的关系三元组，完成模型的预测过程。