[发明专利]训练精炼的机器学习模型

说明书

技术领域

本说明书涉及训练机器学习模型。

背景技术

机器学习模型接收输入并基于所接收的输入和模型的参数值生成输出。例如，机器学习模型可接收图像并生成针对每个分类集合的分数，针对给定分类的分数表示该图像中包含属于该分类的对象的图像的概率。

机器学习模型可由例如线性或非线性操作的单个级别组成或者可为深度网络，即由多个级别组成的机器学习模型，其中的一个或多个可为非线性操作的层。深度网络的一个示例是具有一个或多个隐藏层的神经网络。

发明内容

总的来说，本说明书描述了用于使用繁冗的机器学习模型训练精炼的机器学习模型的技术。

可实施本说明书中描述的主题的特定实施例以便实现一个或多个下述优点。精炼的机器学习模型相对于繁冗的机器学习模型，更易于部署，即，因为它比繁冗的机器学习模型需要更少的计算、存储或者两者兼有，从而在运行时间生成输出，该精炼的机器学习模型可使用已被训练的繁冗的神经网络进行有效的训练。一旦使用繁冗的机器学习模型进行了训练，精炼的机器学习模型能够生成精度不显著低于通过繁冗的机器学习模型生成的输出的输出，尽管它比繁冗的机器学习模型更易于部署或者使用更少的计算资源。

包括一个或多个全机器学习模型和一个或多个专业机器学习模型的集成模型可更精确地生成分数以对所接收的输入进行分类。特别地，通过在集成模型中包括专业机器学习模型，可更精确地生成针对频繁地被全机器学习模型预测为在一起或者混淆的分类的分数。

在附图和下文的描述中提出本说明书的主题的一个或多个实施例的细节。通过该描述、附图以及权利要求，主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了一种精炼的机器学习模型训练系统的示例。

图2是使用已被训练的繁冗的机器学习模型训练精炼的机器学习模型的示例过程的流程图。

图3示出了一种示例机器学习模型系统。

图4是使用包括一个或多个全机器学习模型和一个或多个专业机器学习模型的集成机器学习模型进行输入处理的示例过程的流程图。

不同的附图中相同的附图标记和名称表示相同的元素。

具体实施方式

图1是用于训练精炼的机器学习模型120的示例精炼的机器学习模型训练系统100的框图。精炼的机器学习模型训练系统100是作为在一个或多个位置中的一个或多个计算机上的计算机程序所实施的系统的示例，其中实施了下文描述的系统、组件和技术。

该精炼的机器学习模型训练系统100使用经训练的繁冗的机器学习模型110训练精炼的机器学习模型120。一般来说，机器学习模型接收输入并基于所接收的输入和该模型的参数值生成输出。

特别地，精炼的机器学习模型120和经训练的繁冗的机器学习模型110两者都是已被配置为接收输入并处理所接收的输入以生成针对预定分类集合中的每一分类的相应的分数的机器学习模型。一般来说，精炼的机器学习模型120是具有与繁冗的机器学习模型110不同架构的模型，这使其相对于繁冗的机器学习模型110更易于部署，例如，由于精炼的机器学习模型120比繁冗的机器学习模型110需要更少的计算、存储或两者兼有，来在运行时间生成输出。例如，精炼的机器学习模型120可比繁冗的机器学习模型110具有更少的层、更少的参数或者两者兼有。

经训练的繁冗的机器学习模型110已经在训练输入集合上使用传统机器学习训练技术进行了训练，以确定繁冗的机器学习模型110的经训练的参数值。特别地，经训练的繁冗的机器学习模型110已被训练，使得由经训练的繁冗的机器学习模型110针对给定输入的给定分类所生成的分数表示该分类是该输入的精确分类的概率。

例如，如果繁冗的机器学习模型110的输入是图像，针对给定分类的分数可表示该输入图像包含属于该分类的对象的图像的概率。作为另一示例，如果繁冗的机器学习模型110的输入是文字片段，该分类可为主题，并且针对给定主题的分数可表示输入的文字片段涉及该主题的概率。