[发明专利]一种基于适配器的迁移学习方法、装置、设备及存储介质

说明书

本申请公开了一种基于适配器的迁移学习方法、装置、设备及存储介质，属于人工智能技术领域。本申请基于全连接网络和transformer模型的编码器构建初始迁移学习模型，其中，初始迁移学习模型包括若干个适配器，然后通过预处理后的训练样本对初始迁移学习模型进行预训练，并基于预训练结果计算每一个适配器的沙普利值，对每一个适配器的沙普利值进行降序排列，得到适配器贡献队列，通过适配器贡献队列对初始迁移学习模型进行调整和迭代，得到自注意力迁移学习模型。本申请采用适配器来进行不同学习任务中的知识迁移，降低了训练开销。此外，本申请在训练过程中根据每个适配器的沙普利值，对适配器的数量进行缩减，在迁移学习过程中进一步减少了训练开销。

技术领域

本申请属于人工智能技术领域，具体涉及一种基于适配器的迁移学习方法、装置、设备及存储介质。

背景技术

迁移学习是近年来人工智能研究领域的热门，这一领域主要着眼于如何将某个原本用于特定任务而训练的模型用于另外的任务。而预训练(pre-trained)语言模型的特点就很适合用于迁移学习领域。近年来在文本分类、智能问答、机器阅读、文本摘要等众多NLP领域都取得了很好的效果。例如transformer及以transformer为基础的GPT、BERT等预训练语言模型。预训练语言模型基于海量文本数据训练，从统计学上讲，海量文本数据内部本身隐含了极为丰富的特征，因此结合拟合能力强大的神经网络模型，就能够学习到语言内部蕴含的知识，从而用于不同任务。

但现有预训练语言模型大多是基于自注意力的transformer-encoder模型，通过大量语料训练提取到文本中的某种知识。但现有迁移学习方法存在以下缺点：当新任务需要添加某种新知识时，又需要重新预训练整个模型，这会导致：1、原来已经获得的知识被模型“遗忘”，使得模型效果大打折扣；2、每次都重新训练模型的代价太高，需要消耗大量计算资源和时间成本。

发明内容

本申请实施例的目的在于提出一种基于适配器的迁移学习方法、装置、计算机设备及存储介质，以解决现有迁移学习方法存在训练代价高，且容易导致已经获得的知识被遗忘的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于适配器的迁移学习方法，采用了如下所述的技术方案：

一种基于适配器的迁移学习方法，包括：

基于预设的全连接网络和transformer模型的编码器构建初始迁移学习模型，其中，所述初始迁移学习模型包括若干个适配器；

获取训练样本，并对训练样本进行预处理，得到训练样本对应的词向量；

通过所述词向量对所述初始迁移学习模型进行预训练，获取预训练结果；

基于所述预训练结果计算每一个所述适配器的沙普利值，并对每一个所述适配器的沙普利值进行降序排列，得到适配器贡献队列；

通过所述适配器贡献队列对所述初始迁移学习模型的适配器进行调整，并对调整后的所述初始迁移学习模型进行迭代，得到自注意力迁移学习模型；

获取待迁移语料，并将所述待迁移语料导入所述自注意力迁移学习模型，生成知识迁移结果。

进一步地，所述获取训练样本，并对训练样本进行预处理，得到训练样本对应的词向量的步骤，具体包括：

获取训练语料，按照段落或者语句对所述训练语料进行划分，得到训练样本集合，其中，所述训练样本集合包含若干个训练样本；

对所述训练样本进行分词处理，得到样本分词；

对所述样本分词进行向量转化，得到所述样本分词对应的词向量。

进一步地，所述对所述样本分词进行向量转化，得到所述样本分词对应的词向量的步骤，具体包括：