[发明专利]一种基于多头自注意力机制的多任务篇章级事件抽取方法

权利要求书

1.一种基于多头自注意力机制的多任务篇章级事件抽取方法，其特征在于，具体包括如下步骤：

步骤1、利用框架网络进行事件类型的建模，将框架网络与事件类型进行相应映射，根据框架得到标注数据集，并对触发词进行上下位词的发现和同义词的扩充，生成扩充触发词后的标注数据集；

步骤2、利用预训练的语言模型进行词嵌入表示；对单句中所有单词嵌入和位置嵌入作为输入，利用卷积神经网络模型进行编码，结合分段最大池策略，将特征图根据事件触发词划分为两段，分段提取每个句子段中单词的最大特征，全连接后得到单一句子的语义特征表示；

步骤3、一个文本中含有某个事件类型，那么该文本中至少有一个句子可以完全概括该事件类型，将同一篇文本中的句子打包为一个句子包；句子包中含有步骤2得到的单一句子的语义特征表示，将句子包中的所有单一句子的语义特征表示输入到多头自注意力模型中，获得每个句子在整个文本中的融合了全文语义信息后的增强向量表示，即文本的篇章级语义特征表示，其中多头自注意力通过多次的单头注意力计算实现，在不同的单头注意力计算过程中使用不同的权重，将每个单头注意力的计算结果进行向量合并，并经过线性映射得到最终的多头注意力计算结果；

步骤4、输入步骤3得到的篇章级语义特征表示，利用分类器函数进行分类，进而得到最终的事件类型；

步骤5、利用步骤4预测出的事件类型作为先验信息，链接到事件元素提取的输入序列中，即将每个句子作为一个给定的输入序列，抽取出事件中的所有元素，为事件元素分配一个预定义的实体标签，并为每个实体标签对应一个问题序列，构造基于微调的BERT模型的规范输入序列，并结合机器阅读理解方法进行序列标注，即利用基于模板的方法为不同的事件类型中的事件元素构造查询三元组，利用三元组的对应关系实现机器阅读理解方法，并基于三元组使用BERT规范模型中的特殊标记完成对输入序列的标注；

步骤6、基于步骤5预测实体开始索引和结束索引的概率分布，利用二分类策略提取所有可能的参数实体。

2.根据权利要求1所述一种基于多头自注意力机制的多任务篇章级事件抽取方法，其特征在于，所述对触发词进行上下位词的发现和同义词的扩充是利用基于认知学的英语词汇词典对框架网络中事件类型涉及的触发词进行的。

3.根据权利要求1所述一种基于多头自注意力机制的多任务篇章级事件抽取方法，其特征在于，所述步骤2前，还包括步骤200：将扩充后的标注数据集进行数据预处理，获得符合预训练的语言模型的输入格式的规范数据。

4.根据权利要求1所述一种基于多头自注意力机制的多任务篇章级事件抽取方法，其特征在于，所述步骤2，具体包括如下步骤：

步骤201、对各个篇章中的句子进行处理，将篇章划分为每个最大长度为500个单词的句子，对句子进行分词处理；

步骤202、利用预训练的语言模型BERT进行词嵌入表示，用word表示通过查找词嵌入转换而成的每个单词标记向量，将每个单词映射到一个维向量中；

步骤203、用position表示当前词到触发词的距离嵌入，通过查找位置嵌入矩阵，将当前词到触发词的相对距离转换为实值向量；

步骤204、将词嵌入和位置嵌入输入到卷积神经网络模型的卷积层得到句子特征矩阵；将特征矩阵输入到池化层获取细粒度特征，最后利用全连接层得到单个句子的特征表示。