[发明专利]模型训练方法和设备

权利要求书

1.一种训练模型的方法，所述方法包括：

针对输入序列，获取教师模型的识别结果和学生模型的识别结果；并且

训练学生模型，使得教师模型的识别结果和学生模型的识别结果彼此无法被区分。

2.根据权利要求1所述的方法，其中，训练学生模型的步骤包括：

基于教师模型的识别结果和学生模型的识别结果彼此被区分的程度，确定对抗损失；并且

训练学生模型以减小对抗损失。

3.根据权利要求2所述的方法，其中，确定对抗损失的步骤包括：

基于针对输入序列分别被输出作为识别结果的教师模型的输出序列和学生模型的输出序列彼此被区分的程度，确定对抗损失。

4.根据权利要求3所述的方法，其中，确定对抗损失的步骤包括：

通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。

5.根据权利要求3所述的方法，其中，确定对抗损失的步骤包括：

通过基于输出序列的概率应用Gumbel-max，确定对抗损失。

6.根据权利要求5所述的方法，其中，确定对抗损失的步骤包括：

通过基于可能对应于输出序列的多个候选序列的概率进一步应用Gumbel-max，确定对抗损失。

7.根据权利要求2所述的方法，其中，确定对抗损失的步骤包括：

基于针对输入序列分别被输出作为识别结果的教师模型的输出序列中的元素和学生模型的输出序列中的元素彼此被区分的程度，确定对抗损失。

8.根据权利要求7所述的方法，其中，确定对抗损失的步骤包括：

通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。

9.根据权利要求1所述的方法，其中，训练学生模型的步骤包括：

训练学生模型，使得教师模型的识别结果和学生模型的识别结果无法通过判别器模型被区分彼此，并且

判别器模型被训练为在教师模型的识别结果与学生模型的识别结果之间进行区分。

10.根据权利要求1所述的方法，其中，训练学生模型的步骤包括：

使用教师模型的识别结果训练学生模型，使得教师模型的识别结果从学生模型输出。

11.根据权利要求1所述的方法，其中，输入序列包括：

包括词的句数据和包括帧的语音数据。

12.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时，使得处理器执行权利要求1所述的方法。

13.一种用于训练模型的设备，所述设备包括：

处理器，被配置为：针对输入序列，获取教师模型的识别结果和学生模型的识别结果；并且训练学生模型，使得教师模型的识别结果和学生模型的识别结果彼此无法被区分。

14.根据权利要求13所述的设备，其中，处理器还被配置为：基于教师模型的识别结果和学生模型的识别结果彼此被区分的程度，确定对抗损失；并且训练学生模型以减小对抗损失。

15.根据权利要求14所述的设备，其中，处理器还被配置为：基于针对输入序列分别被输出作为识别结果的教师模型的输出序列和学生模型的输出序列彼此被区分的程度，确定对抗损失。

16.根据权利要求15所述的设备，其中，处理器还被配置为：通过基于包括在输出序列中的元素的概率应用Gumbel-max，确定对抗损失。