[发明专利]模型蒸馏方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术领域，揭示了一种模型蒸馏方法、装置、设备及存储介质，其中方法包括：获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，预训练模型是基于Bert网络训练得到的模型；采用未标注的训练样本和学生模型对预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；采用未标注的训练样本和第一次蒸馏后的学生模型对预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；采用带标注的训练样本对第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。从而通过三次蒸馏提升了蒸馏后得到的模型的准确率，减少了对训练样本标注的需求，降低了蒸馏的成本。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种模型蒸馏方法、装置、设备及存储介质。

背景技术

目前预训练模型具有较强的编码能力以及泛化能力，而且在使用预训练模型时，处理下游任务能极大的减少标注数据的使用量，因此在各个领域都发挥着巨大的作用。因为预训练模型通常参数量较大，导致无法在线使用。

现有技术通过把一个参数量大的预训练模型蒸馏到一个参数量小的模型，以用于实现参数量的减少以及推理速度的提升。但是，目前的蒸馏方法蒸馏后的小模型和原始模型存在准确率上的差距，很多甚至达到10个点左右的差距。同时，目前很多蒸馏方案都需要大量的标注数据，这极大的提升了蒸馏的成本。

发明内容

本申请的主要目的为提供一种模型蒸馏方法、装置、设备及存储介质，旨在解决现有技术的蒸馏方法蒸馏后的小模型和原始模型存在准确率上的差距，很多蒸馏方案都需要大量的标注数据，这极大的提升了蒸馏的成本的技术问题。

为了实现上述发明目的，本申请提出一种模型蒸馏方法，所述方法包括：

获取预训练模型、学生模型、多个带标注的训练样本、多个未标注的训练样本，所述预训练模型是基于Bert网络训练得到的模型；

采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型；

采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型；

采用所述带标注的训练样本对所述第二次蒸馏后的学生模型进行分层蒸馏学习，得到训练好的学生模型。

进一步的，所述采用所述未标注的训练样本和所述学生模型对所述预训练模型进行整体蒸馏学习，得到第一次蒸馏后的学生模型的步骤，包括：

将所述未标注的训练样本输入所述预训练模型进行评分预测，获取所述预训练模型的评分预测层输出的第一预测评分；

将所述未标注的训练样本输入所述学生模型的进行评分预测，得到第二预测评分；

将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值，根据所述第一损失值更新所述学生模型的所有参数，将更新参数后的所述学生模型用于下一次计算所述第二预测评分；

重复执行上述方法步骤直至所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述第一损失值达到第一收敛条件或迭代次数达到第二收敛条件的所述学生模型，确定为所述第一次蒸馏后的学生模型。

进一步的，所述将所述第一预测评分、所述第二预测评分输入第一损失函数进行计算，得到第一损失值的步骤，包括：

将所述第一预测评分、所述第二预测评分输入KL散度损失函数进行计算，得到所述第一损失值。

进一步的，所述采用所述未标注的训练样本和所述第一次蒸馏后的学生模型对所述预训练模型进行分层蒸馏学习，得到第二次蒸馏后的学生模型的步骤，包括：