[发明专利]使用生成对抗模型基于预训练的模型生成数据

说明书

提供了用于生成器模型训练的技术。接收使用目标类别中的一个或多个数据样本训练的分类器模型，并且训练生成对抗网络(GAN)以生成用于目标类别的模拟数据样本，包括：使用生成器模型生成第一模拟数据样本，通过使用判别器模型处理第一模拟数据样本来计算第一判别器损失，通过使用分类器模型处理第一模拟数据样本来计算分类器损失，以及基于第一判别器损失和分类器损失来细化生成器模型。

背景技术

本公开涉及机器学习，并且更具体地，涉及使用生成对抗模型来分析被用于训练预训练模型的数据。

近年来，已经训练了诸如深度学习神经网络之类的各种机器学习模型，并将其用于各种任务。通常，这样的模型需要大量的训练数据来有效地操作。在许多典型的开发中，可以在训练数据集上训练模型，并且随后在训练之后部署模型以用于服务。通常，训练数据与模型分离，并且对于使用训练模型的那些人不可用。

在许多情况下，希望恢复最初训练模型的数据。例如，人们可能希望恢复意外删除的数据。此外，可能期望恢复这样的训练数据用于评估以便确定模型的质量(例如，是否使用了足够的训练数据)。不存在从经训练的模型中提取训练数据的现有技术。

在生成对抗网络(GAN)的领域中，GAN已经被用于生成遵循所提供的训练数据的分布的数据。然而，这样的模型不能生成不包括在所提供的训练数据的原始分布中的数据。因此，典型的GAN网络不能恢复或生成与它已经看到的数据不同的数据。

发明内容

根据本发明的一个实施例，提供了一种方法。该方法包括接收使用目标类别中的一个或多个数据样本训练的分类器模型；训练生成对抗网络(GAN)，以生成针对所述目标类别的模拟数据样本，包括：使用生成器模型生成第一模拟数据样本；通过使用判别器模型处理所述第一模拟数据样本来计算第一判别器损失；通过使用所述分类器模型处理所述第一模拟数据样本来计算分类器损失；以及基于第一判别器损失和分类器损失来细化生成器模型。有利地，这训练生成器以生成模拟、近似或匹配目标类别的训练数据的数据。这种训练数据的恢复具有广泛的应用。

根据本公开的一些实施例，以上实施例的任何组合还可以包括其中GAN在不处理目标类别中的任何数据样本的情况下被训练的技术。有利地，通过训练GAN而不处理来自目标类别的样本，系统可以恢复这样的数据并且使得能够客观和详细地评估数据和分类器。

根据本公开的一些实施例，以上实施例的任何组合还可以包括训练GAN还包括以下步骤的技术：使用所述生成器模型生成第二模拟数据样本；通过使用所述判别器模型处理所述第二模拟数据样本来计算第二判别器损失；以及基于第二判别器损失来细化判别器模型。这种实施例的一个优点在于，判别器模型被改进以更好地区分真实样本和模拟样本，这允许其将压力施加在生成器模型上以提供更准确的模拟数据。

根据本公开的一些实施例，以上实施例的任何组合还可以包括其中判别器模型被训练以在由生成器模型生成的模拟数据样本与用于训练分类器模型的数据样本之间进行区分的技术。有利地，这样的实施例允许判别器有效地训练以确保生成器产生可用于近似未见的训练数据的准确数据。

根据本公开的一些实施例，以上实施例的任何组合还可包括其中通过向所述生成器模型提供随机化输入向量而生成所述目标类别的第一模拟数据样本的技术。有利地，这种针对完全看不见的类别的模拟数据的生成可以允许GAN复制原始训练数据以改进评估和分析。

根据本公开的一些实施例，以上实施例的任何组合还可以包括其中至少部分地基于第一模拟数据样本确定分类器模型是利用目标类别中的不足数据样本训练的技术。有利地，这样的实施例允许客观地评估未知或不确定质量的预训练的分类器，以便改进整个生态系统的操作。

根据本公开的一些实施例，以上实施例的任何组合还可以包括其中至少部分地基于第一模拟数据样本确定用于训练分类器模型的目标类别中的数据样本包括一个或多个可疑(suspicious)特征的技术。有利地，这样的实施例允许客观地评估未知或不确定质量的预训练的分类器，以便改进整个生态系统的操作。