[发明专利]通过中间潜在空间控制神经网络

说明书

本公开的实施例涉及通过中间潜在空间控制神经网络。一种生成式神经网络控制系统通过修改生成式神经网络中的中间潜在空间来控制生成式神经网络。生成式神经网络包括分别生成激活值的集合的多个层。初始层(且可选地附加层)接收输入潜在向量，并且最终层输出基于输入潜在向量而被生成的图像。被输入至每一层(除了初始层以外)的数据被称为中间潜在空间中的数据。中间潜在空间中的数据包括(例如由先前层生成的、或使用各种技术修改的)激活值，并且可选地包括潜在向量。生成式神经网络控制系统修改中间潜在空间以在生成新图像时实现各种不同效果。

技术领域

本公开的实施例涉及神经网络，更具体地涉及通过中间潜在空间控制神经网络。

背景技术

随着计算机技术的发展，已经逐渐形成了计算机的各种用途和应用。一个最新进展是可以根据通常为随机的初始输入生成图像的生成式神经网络(generative neuralnetwork)，诸如生成式对抗网络(GAN)。这些生成式神经网络可以被提供作为各种数字内容创建应用的一部分，并且提供许多益处，诸如生成可能难以与由相机捕获的图像区域分开的图像。

尽管具有这些益处，但生成式神经网络并非没有其问题。一个这种问题在于，可能难以控制生成式神经网络的输出。用于控制生成式神经网络的输出的常规尝试包括：提供指示要生成的图像类别(class)的类别向量作为对生成式神经网络的初始层的输入的一部分、提供将用作对初始层的输入的至少一部分的附加数据等。然而，这些尝试产生了有限结果。提供类别向量允许控制生成何种图像类别(例如狗、猫、风景)，但不提供任何其他控制(例如查看狗的方向、图像的背景)。因为获得附加数据可能很困难且使用这种附加数据的结果受到限制，所以提供将用作对初始层的输入的至少一部分的附加数据可以是存在问题的。例如，用户可以获得从特定方向看着狗(例如看着狗的侧面)的附加图像，并且提供该附加图像作为对生成式神经网络的初始层的输入的一部分，该初始层可以生成如同附加图像中一样稍微转头的狗。

因此，常规解决方案提供了对由生成式神经网络生成的图像的有限控制，从而导致用户对其计算机和图像生成系统的不满和失望。

发明内容

为了减少常规图像生成系统的绘图，描述了一种生成式神经网络控制系统以通过中间潜在空间控制神经网络。在一种或多种实现中，用于生成式对抗网络(GAN)的生成器网络的第一数据被接收，生成器网络包括多个层。这些多个层包括初始层、第一层和第二层。针对由生成器网络生成的新图像的第一效果的输入选择被接收。第二数据通过基于该输入选择修改第一数据而被生成。修改包括：将分解向量应用于由第一层生成的激活值。第二数据被提供给第二层，第二层是生成器网络中的比第一层更后面的层。使用生成器网络，具有第一效果的新图像利用第二数据而被生成。

在一种或多种实现中，用于生成式对抗网络(GAN)的生成器网络的第一数据被接收，生成器网络包括多个层。这些多个层包括初始层、第一层和第二层。针对由生成器网络生成的新图像的第一效果的输入选择被接收。第二数据基于第一数据和输入选择而被生成。第二数据基于修改由第一层生成的激活值和修改被输入至初始层的潜在向量而被生成。第二数据被提供给第二层，第二层是生成器网络中的比第一层更后面的层。使用生成器网络，具有第一效果的新图像利用第二数据而被生成。

该发明内容以简化形式介绍对于在下面的详细说明中进一步描述的构思的选择。因而，该发明内容不旨在标识所要求保护的主题的基本特征，也不旨在用作对确定所要求保护的主题的范围的辅助。

附图说明

参考附图描述了详细描述。图中所表示的实体可以指示一个或多个实体，且因此，在讨论中可以互换地参考单数或复数形式的实体。

图1是对示例实现中的数字媒体环境的图示，该示例实现可操作以采用通过本文中所描述的中间潜在空间控制神经网络。

图2是对生成式神经网络控制系统的示例架构的图示。

图3图示了示例生成式神经网络。