[发明专利]基于模型压缩的模型生成

说明书

本公开提供了一种用于模型生成的方法和装置。可以通过多个预训练模型对预训练数据集合进行评分，所述多个预训练模型执行第一任务。可以利用经评分的预训练数据集合来预训练初始模型。可以基于多个参考模型来更新所述初始模型，以获得目标模型，所述多个参考模型执行第二任务。可以通过所述多个参考模型对参考数据集合进行评分。可以利用经评分的参考数据集合来训练所述目标模型。

背景技术

随着深度学习技术的发展，各种各样的深度学习模型得以不断地开发，并在诸如自然语言处理和计算机视觉等领域有出色表现。例如，在自然语言处理领域，诸如来自转换器的双向编码器表示(Bidirectional Encoder Resentations from Transformers，BERT)模型和生成式预训练转换器(Generative Pre-trained Transformer，GPT)模型之类的深度学习模型被证明具有良好的效果。这类深度学习模型往往是依赖于具有巨量参数的深度网络的复杂模型，例如BERT模型可能包含24个转换器层共3.4亿参数，GPT模型可能包含48个转换器层共15亿参数。训练这样的复杂模型和使用这样的复杂模型进行推断都是十分耗时的，从而难以将其应用于实际的商业场景。通常采用模型压缩方法来获得具有比复杂模型更少参数的、能够部署的简单模型。

发明内容

提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

本公开的实施例提供了一种用于模型生成的方法和装置。可以通过多个预训练模型对预训练数据集合进行评分，所述多个预训练模型执行第一任务。可以利用经评分的预训练数据集合来预训练初始模型。可以基于多个参考模型来更新所述初始模型，以获得目标模型，所述多个参考模型执行第二任务。可以通过所述多个参考模型对参考数据集合进行评分。可以利用经评分的参考数据集合来训练所述目标模型。

应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。

附图说明

以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。

图1示出了根据本公开实施例的基于模型压缩的模型生成的示例性过程。

图2示出了根据本公开实施例的学生模型的示意图。

图3示出了根据本公开实施例的初始模型的示意图。

图4示出了根据本公开实施例的预训练初始模型的示例性过程。

图5示出了根据本公开实施例的预训练初始模型的具体示例。

图6示出了根据本公开实施例的目标模型的示意图。

图7示出了根据本公开实施例的训练目标模型的示例性过程。

图8示出了根据本公开实施例的训练目标模型的具体示例。

图9示出了根据本公开实施例的在部署阶段执行任务的示例性过程。

图10示出了根据本公开实施例的在部署阶段执行任务的具体示例。

图11是根据本公开实施例的用于模型生成的示例性方法的流程图。

图12示出了根据本公开实施例的用于模型生成的示例性装置。

图13示出了根据本公开实施例的用于模型生成的示例性装置。

具体实施方式