[发明专利]深度分层的变分自动编码器

说明书

本发明公开了深度分层的变分自动编码器。本发明的一个实施例阐述了一种用于执行机器学习的技术。该技术包括将训练数据集输入到包括编码器网络、在先网络和解码器网络的变分自动编码器(VAE)中。该技术还包括基于VAE从训练数据集中产生的一个或更多个输出的平滑度，通过更新VAE的一个或更多个变分自动编码器参数来训练VAE。该技术还包括通过将解码器网络应用于从由先前网络生成的潜在变量的第二分布中采样的一个或更多个值来产生反映训练数据集的第一分布的生成式输出。

相关申请的交叉引用

本申请要求于2020年6月18日提交的、序列号为63041038的、题为“深度分层的变分自动编码器(DEEP HIERARCHICAL VARIATIONAL AUTOENCODERS)”的美国临时申请的权益。该相关申请的主题内容在此通过引用并入。

技术领域

本公开的实施例总体上涉及生成式机器学习模型，并且更具体地涉及深度分层的变分自动编码器。

背景技术

在机器学习中，生成模型包括深度神经网络和/或其他类型的机器学习模型，这些模型经过训练以生成新的数据实例。例如，可以在包括大量猫的图像的数据集上训练生成模型。然后可以使用生成模型来生成在训练数据集中找不到的新的猫图像。

生成模型包括变分自动编码器(VAE)，该变分自动编码器(VAE)学习训练数据集中的数据分布，然后通过从分布中采样来生成新数据。VAE通常包括两个神经网络：将训练数据集中的数据点转换为低维潜在空间的编码器网络，以及将潜在空间中的数据点转换为训练数据中数据的概率分布的解码器网络。可以通过将来自潜在空间的样本输入解码器网络来生成与训练数据集中的数据点相似的新数据，该解码器网络将样本转换为反映对应于潜在空间中的潜在变量值的属性的数据点。

例如，在猫的图像上训练的VAE可以学习潜在变量的分布，这些变量反映了代表猫的图像(例如，猫的脸、毛皮、身体、表情、图像中的姿势等)中像素之间的相关性。然后可以通过从VAE中的编码器网络学习到的潜在变量的分布中进行采样并使用解码器网络将采样的潜在变量值转换为图像中像素值的分布以及从所述分布中采样所述像素值，来生成不在训练数据集中的猫的其他图像。

在生成模型中，VAE倾向于提供有效的贝叶斯推断和采样，但是通常比其他类型的生成模型具有较低的性能。例如，VAE生成的图像往往比其他类型的生成模型的图像模糊。

如前所述，本领域需要用于改善VAE的性能的技术。

发明内容

本发明的一个实施例阐述了一种用于执行机器学习的技术。该技术包括将训练数据集输入到包括编码器网络、在先网络和解码器网络的变分自动编码器(VAE)中。该技术还包括基于VAE从训练数据集中产生的一个或更多个输出的平滑度，通过更新VAE的一个或更多个参数来训练VAE。该技术还包括通过将解码器网络应用于从由先前网络生成的潜变量的第二分布中采样的一个或更多个值来产生反映训练数据集的第一分布的生成式输出。

与用于创建、训练和/或执行VAE的常规技术相比，所公开的技术的技术优势之一是VAE的更快的收敛和/或更好的生成式能。因此，通过减少资源开销和/或改善与训练和/或执行VAE相关的性能，所公开的技术在计算机系统、应用程序、框架和/或技术中提供了技术改进，以训练和执行生成模型、生成内容、增强数据、渲染计算机图形和/或执行表示或特征学习。

附图说明

为了可以详细理解各个实施例的上述特征的方式，可以通过参考各个实施例来对以上简要概述的发明构思进行更具体的描述，其中一些实施例在附图中示出。然而，应注意，附图仅示出了发明构思的典型实施例，因此不应以任何方式被认为是对范围的限制，并且还有其他等效的实施例。

图1示出了配置为实现各种实施例的一个或更多个方面的计算设备。