[发明专利]一种模型训练方法、电子设备及存储介质

说明书

本申请公开了一种模型训练方法、电子设备及存储介质，能够在保证所得到的适用于文本分类任务的学生模型性能较优的情况，可以应用于计算能力有限的终端。其中，模型训练方法包括：获取非Transformer结构的TectCNN模型，并将TectCNN模型作为第一学生模型；基于Transformer结构的教师模型对第一学生模型进行蒸馏训练，获得第二学生模型，教师模型用于处理文本分类任务。

【技术领域】

本申请实施例涉及人工智能技术领域，尤其涉及一种模型训练方法、电子设备及存储介质。

【背景技术】

通常基于Transformer结构的文本分类模型来处理文本分类任务，但是运行Transformer结构的文本分类模型对于硬件计算能力要求较高，也就是说，无法基于Transformer结构的文本分类模型在计算能力有限的设备中来处理文本分类任务。

现有技术中，将Transformer结构的文本分类模型作为教师模型，将同时学生模型也基于简化版的Transformer结构，虽然训练出来的学生模型性能与原本教师模型差异较小，但是此时的学生模型仍然参数量较大，无法适用于计算能力有限的终端。

【发明内容】

本申请实施例提供了一种模型训练方法、电子设备及存储介质，能够在保证所得到的适用于文本分类任务的学生模型性能较优的情况，可以应用于计算能力有限的终端。

第一方面，本申请实施例提供了一种模型训练方法，应用于电子设备，所述方法包括：

获取非Transformer结构的TectCNN模型，并将所述TectCNN模型作为第一学生模型；

基于Transformer结构的教师模型对所述第一学生模型进行蒸馏训练，获得第二学生模型，所述教师模型用于处理文本分类任务。

本申请实施例中，非Transformer结构的TectCNN模型具有参数量较小的特点，因此将TectCNN模型作为第一学生模型，并利用基于Transformer结构的教师模型来对TectCNN模型进行蒸馏训练，从而使获得的第二学生模型在性能尽量与教师模型相当的情况下，能够适用于计算能力有限的终端。

可选的，在获取TectCNN模型之前，所述方法还包括：

获取与所述文本分类任务相关的M个真实标签文本样本，以及与所述文本分类任务相关的N个无标签文本样本，其中，所述N个无标签文本样本包括N/2对表征相同语义的无标签文本样本对，任一无标签文本样本对包括原始语言版本的无标签文本样本，以及所述原始语言版本的无标签文本样本翻译为目标语言版本后经回译处理所得到的回译版本的无标签文本样本；

将所述M个真实标签文本样本以及所述N个无标签文本样本输入到所述文本分类任务的基准模型，并基于第一目标损失函数对所述基准模型进行训练，获得所述教师模型，所述第一目标损失函数如下：

L_teacher＝L₁+L₂

其中，L_student表示所述第一目标损失函数，L₁表示所述基准模型对所述M个真实标签文本样本中各真实标签文本样本的预测值与真实标签之间的交叉熵损失函数，L₂表示所述基准模型对N/2对无标签文本样本对中各无标签文本样本对所包括的原始语言版本的无标签文本样本的预测值与回译版本的无标签文本样本的预测值之间的相对熵损失函数。

本申请实施例中，在真实标签文本样本有限的情况下，可以利用少量真实标签文本样本以及大量无标签文本样本对文本分类任务的基准模型进行半监督训练，从而得到性能较为优异的教师模型。