[发明专利]文本分类模型的训练方法及装置、电子设备及存储介质

说明书

本申请涉及人工智能技术领域，公开一种文本分类模型的训练方法，包括：对第一数量的长文本数据进行数据增强，获取第二数量的长文本数据，其中，所述第二数量大于所述第一数量；对所述第二数量的长文本数据进行文本压缩，形成长文本训练数据集，其中，所述长文本训练数据集包括无标签的长文本数据和有标签的长文本数据；根据所述长文本训练数据集对第一文本分类模型进行训练，基于训练后的第一文本分类模型对第二文本分类模型进行模型蒸馏，得到第二文本分类模型。本申请还公开一种文本分类模型的训练装置、电子设备和存储介质。

技术领域

本申请涉及人工智能技术领域，例如涉及一种文本分类模型的训练方法及装置、电子设备及存储介质。

背景技术

目前，文本分类是自然语言处理(NLP，Natural Language Processing)应用领域中最常见也最重要的任务类型，文本分类在搜索引擎、问答系统和会话系统等等重要的信息处理系统中应用非常广泛，相关技术中常见的文本分类算法包括TextCNN模型、RCNN模型、DPCNN模型、HAN模型和BERT模型等。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

相关技术中的文本分类算法在处理数据量标注不足的具有类别不平衡的长文本分类问题时，存在预测准确率较低且难以满足低延时场景需求的痛点。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种文本分类模型的训练方法及装置、电子设备及存储介质，以处理数据标注量不足的具有类别不平衡的长文本分类问题，并满足低延时场景的需求。

在一些实施例中，所述文本分类模型的训练方法，包括：

对第一数量的长文本数据进行数据增强，获取第二数量的长文本数据，其中，所述第二数量大于所述第一数量；

对所述第二数量的长文本数据进行文本压缩，形成长文本训练数据集，其中，所述长文本训练数据集包括无标签的长文本数据和有标签的长文本数据；

根据所述长文本训练数据集对第一文本分类模型进行训练，基于训练后的第一文本分类模型对第二文本分类模型进行模型蒸馏，得到第二文本分类模型。

可选地，所述对第一数量的长文本数据进行数据增强，获取第二数量的长文本数据，包括：

将所述无标签的长文本数据由第一语言翻译至第二语言，再由第二语言翻译至第一语言，生成回译后的长文本数据；

通过TF-IDF算法计算所述回译后的长文本数据中每个词语的TF-IDF值，将TF-IDF值低于预设重要程度阈值的词语进行同义替换，得到同义替换后的长文本数据；

根据同义替换后的长文本数据、回译后的长文本数据和第一数量的长文本数据，生成第二数量的长文本数据。

可选地，所述方法还包括：

在根据所述长文本训练数据集对第一文本分类模型进行训练的过程中，根据第一文本分类模型的目标损失值，配置一个超参数Temperature，其中，所述超参数Temperature的数值范围在0-1之间；

根据所述超参数Temperature确定所述重要程度阈值，以调整同义替换后的长文本数据与回译后的长文本数据之间的数量比例。

可选地，所述对所述第二数量的长文本数据进行文本压缩，形成长文本训练数据集，包括：

根据目标类别对应的类别关键词词表和开源的中文词向量表，计算类别关键词词表中的每个类别关键词与中文词向量表中的每个中文词语之间的相似度；