[发明专利]一种用自适应控制学习改进生成对抗网络方法

说明书

本发明属于对抗网络技术领域，公开了一种用自适应控制学习改进生成对抗网络方法(GAN)，适用于GAN的自适应超参数学习过程，以提高不同数据集的训练稳定性，从而保证生成数据(如图像、文字)的质量。这是通过在类别和模式相对简单的数据集下获取的训练有素的学习曲线指导类别和模式相对复杂的数据集的训练过程来实现的；本发明还分析了具有多层感知器(MLP)和深度卷积神经网络(DCGAN)架构的自适应生成对抗网络(Ak‑GAN)模型。本发明确实可以提高通用GAN训练的稳定性，并可以很好地推广到各种改进模型和数据集；对于未来的工作，计划分析更好的生成样本度量，这可能会鼓励GAN的收敛；希望分析所提出的自适应控制机制在GAN多模态学习中的作用。

技术领域

本发明属于对抗网络技术领域，尤其涉及一种用自适应控制学习改进生成 对抗网络方法。

背景技术

生成对抗网络(GAN)可有效地合成各种应用的样本，如图像生成、工业 设计、语音合成和自然语言处理。GAN的目标是交替地训练生成器模型G和判 别器模型D。GAN的G和D通常选择使用多层感知机(MLP)或卷积神经网络 (CNN)。生成器接受一组噪声先验来模拟真实的的数据分布，模拟出的分布 叫做生成数据分布，而判别器被训练以提取真实数据的区别特征。更具体地， 判别器判断一个数据是来自真实数据分布的概率；，输出概率和真实标签的误 差用于指导判别器和生成器网络的参数更新。该过程交替进行，直到D不能区 分真实和合成数据。

在实践中，GAN以其不稳定行为(不稳定性)和模式崩溃问题而闻名，特 别是在对包含各种视觉对象的数据集合进行训练时。使问题复杂化的两个主要 问题是：1)在训练过程中生成器和判别器模型能力的不均衡，这阻碍生成器有 效学习真实数据分布；2)缺乏可计算、可解释的收敛标准。

最近，一些国内外研究或发明集中在如何提高原始GAN的稳定性，它们采 取的策略主要是采用启发式方法，通过简化训练前期真实数据分布，逐步指导G 的训练，例如在图像生成领域，让GAN先试着训练不清晰的图像，或者较小的 图像，随后渐渐清晰化或者扩大图像的尺寸。这种启发式学习方法可以一定程 度上稳定训练。但这种由模糊渐渐变清晰或由小渐渐变大的过程不依赖G和D 能力的均衡成长(竞争)，而是依赖于一个预先定义好的渐近函数。这种方法 对不同的数据集和GAN模型变体极其敏感，难以应用于真实应用场景。与现有 的研究或发明不同，本发明提出了一种基于对数据集自适应，动态地调整超参 数来引导生成器和判别器学习进程的方法来解决GAN训练不稳定性问题。

GAN在简单数据集上容易训练成功，即G和D的能力能均衡的增长或降低， 最终G达到了生成逼真图像的目的，而D最终不能准确区别真实图像和生成图 像的差异。本项目提出的基于基准值自适应调参的方法建立在这样一个观察： 简单数据集上训练正常的GAN之中D的两个概率输出值(P_r和P_g)呈现与图6 (a)相似的趋势与走向，同时G和D的损失函数输出值(L_G和L_D)呈现与图6 (b)相似的趋势与走向。而图6(c)展示了一个失败的GAN训练走向图。

基于这个观察，本项目拟使用GAN在MNIST上训练并获取的两组曲线做 为基准线：一组展示D的两个概率输出值(P_mr和P_mg)；另一组展示G和D的 损失函数值(L_mG和L_mD)。这两组基准值曲线通过结合控制算法来指导GAN在 复杂图像上的训练进程。

综上所述，现有技术存在的问题如下：

传统GAN不稳定和模式崩溃，特别是在对包含多种复杂视觉对象的数据集 合进行训练时；

现有技术中，使问题复杂化的两个主要问题是：在训练过程中生成器和判 别器的模型能力不均衡增长，这阻碍了发电机的有效学习；缺乏可计算、可解释 的收敛标准。

本发明的实际意义：