[发明专利]一种基于多任务学习机制的自然语言关系抽取方法

权利要求书

1.一种基于多任务学习机制的自然语言关系抽取方法，其特征在于，该方法包括以下具体步骤：

步骤1：依据通用NLP模型基准，选取其中与关系抽取任务的训练数据类似的分类任务，即训练数据同时能够用于关系抽取任务训练的任务，作为训练多任务模型的辅助任务；

步骤2：将输入的句子或句子对经过WordPiece分词之后得到子词序列，将每个辅助任务的训练数据根据数据集大小按比例采样并混合之后送入预训练语言模型进行统一训练；

步骤3：使用预训练语言模型编码工具对输入数据进行编码表示；

步骤4：对关系抽取任务及辅助任务分别建立独立的单任务模型；

步骤5：利用建立的单任务模型，基于知识蒸馏进行多任务模型训练和预测

使用关系抽取任务的单任务模型作为初始多任务模型来对辅助任务进行预测输出，最小化该输出与辅助任务对应的单任务模型预测输出的交叉熵，同时使用退火算法，即按比例混合模型输出与任务真实标签来优化模型性能，从而实现模型的训练，最终得到多任务模型用于预测关系抽取；其中：

所述知识蒸馏，具体为：通过同时将提前训练的单任务模型的输出和单任务模型的真实标签按照一个随着训练流程不断改变的比例作为权重加权平均之后作为多任务模型训练时的目标输出，即单任务模型和真实标签同时用于多任务模型的训练。