[发明专利]基于梯度改进的元学习少样本文本分类方法

说明书

本发明公开了一种基于梯度改进的元学习少样本文本分类方法，包括以下具体步骤：元学习训练数据划分，构建基于少样本文本框架下的元数据集，并将元数据集划分为训练任务集、验证任务集和测试任务集；构建元学习模型；训练元学习模型，通过构建训练任务集，每次将一批次的元任务送入到内层基础学习器，元任务对应的训练将外层元学习器的参数作为内层基础学习器的初始化参数，内层基础学习器在元任务的支持集上进行训练，得到在支持集上的误差和梯度，再在查询集上检验内层基础学习器训练的效果，得到查询集上的误差和梯度；将学习到的元学习模型应用于少样本文本分类。

技术领域

本发明涉及一种计算机自然语言处理方法，特别涉及一种基于梯度改进的元学习少样本文本分类方法。

背景技术

近年来随着互联网的普及和发展，大量文本数据的积累为深度学习提供了有力的训练支撑，从而促进了深度学习技术的快速发展。然而在许多少样本文本分类任务场景中，可供训练的数据样本量不足以支撑复杂的深度神经网络，更重要的是，特定任务下学习到的深度神经网络模型难以泛化到新的文本分类任务之中，即传统的深度学习网络学习新类别的能力有限。而元学习是解决这个问题的一种方法，它使网络能够学习如何学习。其关键思想是随着模型学习过任务的增多，模型能够从不同任务之间学到一些可以泛化的通用知识，从而在遇到新的分类任务时，能够利用模型的学习能力，在仅有少量样本的场景下，出色地完成模型从未见过的分类任务。元学习的训练过程涉及内部层面和外部层面；在内部层面，模型每次都会遇到新的分类任务，其类别是之前未学习过的类别，模型试图通过从前学习到的通用知识，在该新的分类任务中快速完成学习和适应，内层的学习误差将会传递给外部层面，外部层面根据误差来修改模型的通用知识，从而具备越来越完善的学习能力。尽管元学习很大程度上提升了少样本文本分类任务的表现，但它也存在着若干待解决的问题，其中一个显著的问题是网络容易在训练集上过拟合，导致模型在新任务上的泛化表现不好。

发明内容

本发明要解决的技术问题在于提供一种基于梯度改进的元学习少样本文本分类方法，该方法针对元学习内部和外部层次的梯度算法进行改进，改善了元学习存在的过拟合问题。

为了解决上述技术问题，本发明通过以下方式来实现：

基于梯度改进的元学习少样本文本分类方法，包括以下具体步骤：

1)元学习训练数据划分，构建基于少样本文本框架下的元数据集，并将元数据集划分为训练任务集、验证任务集和测试任务集；

2)构建元学习模型；

3)训练元学习模型，通过构建训练任务集，每次将一批次的元任务送入到内层基础学习器，元任务对应的训练将外层元学习器的参数作为内层基础学习器的初始化参数，内层基础学习器在元任务的支持集上进行训练，得到在支持集上的误差和梯度，再在查询集上检验内层基础学习器训练的效果，得到查询集上的误差和梯度；

4)将学习到的元学习模型应用于少样本文本分类。

进一步的，所述步骤1)中元数据集的划分过程包括：元学习根据分类任务包括元学习的外部层次和元学习的内部层次，其中元学习的外部层次划分为训练任务集、验证任务集和测试任务集，元学习的内部层次划分为支持集和查询集，并保证各个集合类别互斥；构建对应的N-way K-shot任务，从元数据集抽取N个不同类别，每类别中抽取出K+Q个样本，其中K个样本划分到支持集，Q个样本划分到查询集。

进一步的，所述步骤3)中训练元学习模型的具体步骤如下：

31)通过对元学习的内层梯度改进模块，计算出内层基础学习器传递给外层元学习器的梯度；

首先元学习模型在支持集上利用元知识学习，得到适用于解决新任务的模型参数，其公式如下：