[发明专利]文本分类模型的训练方法及装置、电子设备及存储介质

权利要求书

1.一种文本分类模型的训练方法，其特征在于，包括：

对第一数量的长文本数据进行数据增强，获取第二数量的长文本数据，其中，所述第二数量大于所述第一数量；

对所述第二数量的长文本数据进行文本压缩，形成长文本训练数据集，其中，所述长文本训练数据集包括无标签的长文本数据和有标签的长文本数据；

根据所述长文本训练数据集对第一文本分类模型进行训练，基于训练后的第一文本分类模型对第二文本分类模型进行模型蒸馏，得到第二文本分类模型。

2.根据权利要求1所述的训练方法，其特征在于，所述对第一数量的长文本数据进行数据增强，获取第二数量的长文本数据，包括：

将所述无标签的长文本数据由第一语言翻译至第二语言，再由第二语言翻译至第一语言，生成回译后的长文本数据；

通过TF-IDF算法计算所述回译后的长文本数据中每个词语的TF-IDF值，将TF-IDF值低于预设重要程度阈值的词语进行同义替换，得到同义替换后的长文本数据；

根据同义替换后的长文本数据、回译后的长文本数据和第一数量的长文本数据，生成第二数量的长文本数据。

3.根据权利要求2所述的训练方法，其特征在于，还包括：

在根据所述长文本训练数据集对第一文本分类模型进行训练的过程中，根据第一文本分类模型的目标损失值，配置一个超参数Temperature，其中，所述超参数Temperature的数值范围在0-1之间；

根据所述超参数Temperature确定所述重要程度阈值，以调整同义替换后的长文本数据与回译后的长文本数据之间的数量比例。

4.根据权利要求1所述的训练方法，其特征在于，所述对所述第二数量的长文本数据进行文本压缩，形成长文本训练数据集，包括：

根据目标类别对应的类别关键词词表和开源的中文词向量表，计算类别关键词词表中的每个类别关键词与中文词向量表中的每个中文词语之间的相似度；

按照每个类别关键词与中文词向量表中的每个中文词语之间的相似度由高到低的顺序，从所述中文词向量表中分别获取前n位的中文词语，得到每个类别关键词的相关词语集合，其中，所述n为大于等于1的正整数；

根据每个类别关键词的相关词语集合对所述第二数量的长文本数据进行筛选和去重，形成长文本训练数据集。

5.根据权利要求4所述的训练方法，其特征在于，还包括：

根据每个类别关键词的相关词语集合中的每个中文词语遍历所述第二数量的长文本数据，获取每个中文词语的出现次数；

根据每个中文词语的出现次数和每个中文词语与对应类别关键词之间的相似度，计算每个中文词语对应的相似度总和；

从每个类别关键词的相关词语集合中选择相似度总和最大的中文词语，得到文本关键词集合；

根据所述第二数量、类别关键词的数量和n值，计算时间复杂度。

6.根据权利要求1至5任一项所述的训练方法，其特征在于，所述基于训练后的第一文本分类模型对第二文本分类模型进行模型蒸馏，得到第二文本分类模型，包括：

根据所述第一文本分类模型的目标损失函数，计算所述第一文本分类模型的目标损失值；

根据所述第一文本分类模型的目标损失值，对所述第一文本分类模型进行反向传播，直至达到训练停止条件；

根据所述第一文本分类模型的预测结果和所述长文本训练数据集，对所述第二文本分类模型进行训练，直至达到训练停止条件。

7.根据权利要求6所述的训练方法，其特征在于，所述根据所述第一文本分类模型的目标损失函数，计算所述第一文本分类模型的目标损失值，包括：

根据交叉熵损失函数和KL散度损失函数，构建所述目标损失函数；

根据第一文本分类模型的预测结果和所述有标签的长文本数据，通过交叉熵损失函数计算交叉熵损失值；

根据数据增强前的长文本数据的输出概率分布和数据增强后的长文本数据的输出概率分布，通过KL散度损失函数计算KL离散度损失值；

将所述交叉熵损失值和基于超参数λ倍的KL离散度损失值进行求和，得到所述第一文本分类模型的目标损失值。