[发明专利]一种基于元学习的大规模多标签文本分类方法

说明书

本发明公开了一种基于元学习的大规模多标签文本分类方法，主要包括：使用采样策略从训练集中采样获得若干样本，形成若干子任务，基于采样获得的若干子任务让模型进行元学习，元学习后的模型在原始数据集上使用监督学习方法进行微调，使得模型的性能进一步提升。本方法将大规模多标签文本分类问题转化为一个元学习问题，通过构造大量含有少样本和零样本标签的多标签文本分类子任务并优化模型在这些任务上的泛化误差，让模型能够显式的学习如何更好的预测那些少样本和零样本标签。

技术领域

本发明属于人工智能的多标签文本分类领域，涉及一种基于元学习的大规模多标签文本分类方法。

背景技术

大规模多标签文本分类(Large-scale Multi-label Text Classification)是人工智能领域中一个重要且实用的技术。它被广泛应用于多个场景，例如对于大量的文章进行归集，根据病人的医疗记录自动诊断疾病，为法案赋予相关的法律概念标签等等。在这些任务中，由于标签集合庞大且人力标注资源有限，大规模多标签文本分类任务通常面临着标签长尾分布的挑战，即许多的标签只有很少量甚至没有标注的样本。

目前主流的多标签文本分类技术方案是先通过深度神经网络将每个文本编码为一个稠密的表示向量，再为每个标签分配一个二分类器进行预测。然而，这类方法需要由大量的文本和对应相关标签组成的标注数据进行训练，并且只能在事先确定的标签体系下才能保证准确识别。在真实的多标签文本分类任务场景中，标签往往呈现严重的长尾分布，即集合中许多的标签只有非常少量(少样本)甚至没有样本(零样本)，并且随着标签体系的不断演化，会有新的标签加入进来，如何更好的应对这些标签也成为一个重要的挑战。

专利CN113076426A公开了一种多标签文本分类及模型训练方法、装置、设备及存储介质，该发明在训练多标签文本分类模型的过程中，会基于该模型输出的各标签的预测特征，来训练能够捕获标签间相关性的分类器，通过同步训练该分类器和多标签文本分类模型，使得训练出的多标签文本分类模型也能够更为精准的捕获标签间的相关性。但是由于没有利用到标签的先验信息，从而不能很好地预测那些少样本和零样本的标签。

Rios A在论文中提出了一个基于文本匹配机制的多标签文本分类模型(Rios A,Kavuluru R.Few-shot and zero-shot multi-label learning for structured labelspaces.Proceedings of the Conference on Empirical Methods in Natural LanguageProcessing.2020.)，使用标签的描述信息与文本进行匹配来完成预测，并在标签的层次结构图上使用了图卷积神经网络挖掘了标签之间的相关性，从而能够应对那些少样本和零样本标签。Lu J在论文中提出(Lu J,Du L,Liu M,et al.Multi-label Few/Zero-shotLearning with Knowledge Aggregated from Multiple Label Graphs.Proceedings ofthe 2020Conference on Empirical Methods inNatural Language Processing.2020.)，除了使用先验的标签层次图以外，还手动构建了标签间的描述相似度图以及共现矩阵图并使用了图神经网络挖掘了多个方面的标签关联信息。上述两篇论文中均使用了文本匹配模型来解决多标签文本分类问题，并结合了标签的描述信息和标签之间的关系图，能够应对少样本和零样本的标签。但是这些方法都只使用了普通的监督学习方法进行模型的训练，导致模型更倾向于预测正确那些样本数量巨大的常见标签，从而导致模型对于少样本和零样本标签的预测准确率较低。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术中模型对于少样本和零样本标签的预测准确率较低的问题，提供一种基于元学习的大规模多标签文本分类方法。

为了解决上述技术问题，本发明公开了一种基于元学习的大规模多标签文本分类方法，包括：