[发明专利]一种减少生成对抗网络模式崩溃的方法

说明书

本发明公开了一种减少生成对抗网络模式崩溃的方法，其包括1)构建GMN‑GAN网络，所述GMN‑GAN网络包括高斯混合模型M、高斯混合噪声变量生成器V、样本生成器G和判别器D；高斯混合噪声变量生成器的个数与图像数据集中的图像类别数量c相等，高斯混合噪声变量生成器的输出作为样本生成器的输入，样本生成器的输出作为判别器的输入，判别器输出层的输出单元数量设定为图像类别的数量，一个输出单元对应着一个不同的类别；2)对GMN‑GAN网络进行训练。本发明中样本生成器能够生成种类更多的图像，能有效避免生成对抗网络出现模式崩溃的问题。

技术领域

本发明神经网络技术领域，特别涉及一种减少生成对抗网络模式崩溃的方法。

背景技术

在过去的十年中，图像的生成技术已经在不同的领域中起到关键的作用，如在视觉识别，语音识别和生成及自然语言处理等领域。众所周知的生成模型大致包括基于似然(likelihood-based)的方法，生成对抗网络(Generative adversarial network,GAN)和基于扩散的网络(diffusion-based)。

GAN由两个模型组成，一个是生成模型G，一个是分布模型D。通过G和D之间的相互博弈对抗，逐渐诱导G生成图像去欺骗D。近年来，随着GAN越来越普及，一些学者提出的方法可以生成相当高清的图像，甚至人眼也无法察觉到这些图像与真实世界图像之间的差异。生成对抗网络相比于基于似然(likelihood-based)的方法和基于扩散的网络(diffusion-based)，在大多数图像生成任务上的表现也更优秀。

尽管GAN在生成逼真图像方面取得了巨大成功，但众所周知，在训练GAN模型中需要处理的最棘手问题之一是模式崩溃(Mode Collapse)。模式崩溃指的是生成器可能会崩溃到某个设定并始终产生相同的输出，使用最优运输图的规则定理来解释模式崩溃：导致模式崩溃的根本原因是运输图的规则性与深度神经网络(Deep Neural Networks,DNNs)的连续函数空间之间的冲突。由于DNNs只能对连续映射进行建模，而真实图像所需的映射并不连续，因此GAN的主要难点在于这种内部冲突的存在。当使用GAN在连续映射空间中搜索不连续映射时，这个搜索操作不会收敛，或者会收敛到目标映射的一个连续分支，最终会导致模式崩溃。

发明内容

有鉴于此，本发明的目的是提供一种减少生成对抗网络模式崩溃的方法，以解决采用生成对抗网络生成图像时，如何减少生成对抗网络模式崩溃的技术问题。

本发明减少生成对抗网络模式崩溃的方法包括以下步骤：

1)构建GMN-GAN网络，所述GMN-GAN网络包括高斯混合模型M、高斯混合噪声变量生成器V、样本生成器G和判别器D；

所述高斯混合噪声变量生成器的个数与图像数据集中的图像类别数量c相等，第i个高斯混合噪声变量生成器V_i由图像数据集中的第i类图像经高斯混合模型M拟合生成，1≤i≤c；高斯混合噪声变量生成器的输出作为样本生成器的输入，样本生成器的输出作为判别器的输入，判别器输出层的输出单元数量设定为图像类别的数量，一个输出单元对应着一个不同的类别；

所述高斯混合模型M的概率密度函数定义如下：

其中，x是图像样本数据集，f(x|μ_k,∑_k)是第k个分量，其特征是具有均值向量μ_k和协方差矩阵∑_k的多变量高斯分布，K是分量的总数，w_k是混合权重，且满足等式协方差矩阵∑_k可以是全值矩阵或对角矩阵；

所述样本生成器G的损失函数定义如下：