[发明专利]基于模型压缩的模型生成

权利要求书

1.一种用于模型生成的方法，包括：

通过多个预训练模型对预训练数据集合进行评分，所述多个预训练模型执行第一任务；

利用经评分的预训练数据集合来预训练初始模型；

基于多个参考模型来更新所述初始模型，以获得目标模型，所述多个参考模型执行第二任务；

通过所述多个参考模型对参考数据集合进行评分；以及

利用经评分的参考数据集合来训练所述目标模型。

2.根据权利要求1所述的方法，其中，所述预训练数据集合包括多个样本，并且其中，所述对所述预训练数据集合进行评分包括，对于所述多个样本中的每个样本：

通过所述多个预训练模型对所述样本分别进行评分，以获得所述样本的多个目标概率分布。

3.根据权利要求1所述的方法，其中，所述初始模型包括多解码器层，所述多解码器层包括与所述多个预训练模型相对应的多个初始解码器。

4.根据权利要求3所述的方法，其中，所述经评分的预训练数据集合包括多个样本，每个样本具有由所述多个预训练模型产生的多个目标概率分布，并且其中，所述预训练所述初始模型包括，对于每个样本：

通过所述多个初始解码器对所述样本分别进行评分，以获得所述样本的多个预测概率分布；

计算与所述多个预测概率分布相对应的多个预测损失；

基于所述多个预测损失来计算与所述样本相对应的综合预测损失；以及

通过使所述综合预测损失最小化来优化所述初始模型。

5.根据权利要求4所述的方法，其中，所述计算与所述多个预测概率分布相对应的所述多个预测损失包括，对于所述多个预测概率分布中的每个预测概率分布：

确定与产生所述预测概率分布的初始解码器相对应的预训练模型；

从所述样本的所述多个目标概率分布中提取由所述预训练模型产生的目标概率分布；以及

基于所提取的目标概率分布和所述预测概率分布来计算与所述预测概率分布相对应的预测损失。

6.根据权利要求1所述的方法，其中，所述参考数据集合包括多个样本，并且其中，所述对所述参考数据集合进行评分包括，对于所述多个样本中的每个样本：

通过所述多个参考模型对所述样本分别进行评分，以获得所述样本的多个目标概率分布。

7.根据权利要求1所述的方法，其中，所述更新包括：

将所述初始模型的多解码器层更新为包括第一目标解码器以及与所述多个参考模型相对应的多个第二目标解码器。

8.根据权利要求7所述的方法，其中，所述经评分的参考数据集合包括多个样本，每个样本具有初始标注以及由所述多个参考模型产生的多个目标概率分布，并且其中，所述训练所述目标模型包括，对于每个样本：

通过所述第一目标解码器对所述样本进行评分，以获得所述样本的第一预测概率分布；

基于所述初始标注和所述第一预测概率分布来计算与所述第一预测概率分布相对应的第一预测损失；

通过所述多个第二目标解码器对所述样本进行评分，以获得所述样本的多个第二预测概率分布；

计算与所述多个第二预测概率分布相对应的多个第二预测损失；

基于所述第一预测损失和所述多个第二预测损失来计算与所述样本相对应的综合预测损失；以及

通过使所述综合预测损失最小化来优化所述目标模型。

9.根据权利要求8所述的方法，其中，所述计算与所述多个第二预测概率分布相对应的所述多个第二预测损失包括，对于所述多个第二预测概率分布中的每个第二预测概率分布：

确定与产生所述第二预测概率分布的第二目标解码器相对应的参考模型；

从所述样本的所述多个目标概率分布中提取由所述参考模型产生的目标概率分布；以及

基于所提取的目标概率分布和所述第二预测概率分布来计算与所述第二预测概率分布相对应的第二预测损失。