[发明专利]基于梯度改进的元学习少样本文本分类方法

权利要求书

1.基于梯度改进的元学习少样本文本分类方法，其特征在于：包括以下具体步骤：

1)元学习训练数据划分，构建基于少样本文本框架下的元数据集，并将元数据集划分为训练任务集、验证任务集和测试任务集；

2)构建元学习模型；

3)训练元学习模型，通过构建训练任务集，每次将一批次的元任务送入到内层基础学习器，元任务对应的训练将外层元学习器的参数作为内层基础学习器的初始化参数，内层基础学习器在元任务的支持集上进行训练，得到在支持集上的误差和梯度，再在查询集上检验内层基础学习器训练的效果，得到查询集上的误差和梯度；

4)将学习到的元学习模型应用于少样本文本分类。

2.根据权利要求1所述的基于梯度改进的元学习少样本文本分类方法，其特征在于：

所述步骤1)中元数据集的划分过程包括：元学习根据分类任务包括元学习的外部层次和元学习的内部层次，其中元学习的外部层次划分为训练任务集、验证任务集和测试任务集，元学习的内部层次划分为支持集和查询集，并保证各个集合类别互斥；构建对应的N-way K-shot任务，从元数据集抽取N个不同类别，每类别中抽取出K+Q个样本，其中K个样本划分到支持集，Q个样本划分到查询集。

3.根据权利要求1所述的基于梯度改进的元学习少样本文本分类方法，其特征在于：

所述步骤3)中训练元学习模型的具体步骤如下：

31)通过对元学习的内层梯度改进模块，计算出内层基础学习器传递给外层元学习器的梯度；

首先元学习模型在支持集上利用元知识学习，得到适用于解决新任务的模型参数，其公式如下：

式中：f_θ表示外层元学习器的元模型，模型的参数为θ，表示模型随机从训练任务集中抽取的任务T_i支持集上的损失，代表反向传播得到的梯度，α表示内层基础学习器的学习率，θ′表示经过更新后内层模型的参数；

然后在查询集上检验参数θ′的效果，通过模型在查询集上的预测结果和查询集数据的真实标签，得到模型的损失和梯度，内层基础学习器将梯度传递给外层元学习器，并加上内层模型在支持集上最后一步更新的损失和反向传播梯度，外层元学习器根据此梯度来更新元知识，其公式如下：

式中：表示内层基础学习器经过在支持集上的学习后得到的模型，表示模型在支持集上最后一次更新的参数，表示模型在支持集上最后一次更新时的损失，w_sprt表示模型赋予损失的权重，f_θ′表示内层模型经过在支持集上进行学习得到的适用于解决新任务的模型，模型的参数为θ′，表示新参数在查询集上的损失的梯度，β表示外层元学习器的学习率，θ^*表示经过更新后的参数；

32)外层元学习器的梯度改进模型根据各个元任务回传出的梯度特征，动态地分配不同的权重，计算出总的梯度回传给元学习器，元学习器根据此梯度和外层学习率来更新一次参数，其公式如下：

式中表示各任务回传梯度的权重，对于每一批内层任务T_i，其权重的计算公式如下：

式中表示元学习模型内部层次学习任务时回传的梯度，表示所有内层学习任务回传梯度之和。