[发明专利]一种融合自注意力机制的生成对抗网络方法

说明书

本发明涉及一种融合自注意力机制的生成对抗网络方法，属于计算机视觉领域，特别是涉及到进行图像生成的生成对抗网络。图像的生成是计算机视觉领域的一项重要挑战，如果能够生成大量的高质量图像样本，在这个依赖大数据背景下的时代，人工智能领域能够得到更迅速的发展。因此，本发明提出一种融合自注意力机制的生成对抗网络，该网络可以生成高质量的图像，同时图像又具有较高的多样性。具体而言，生成对抗网络对于生成器与判别器分布的评估标准改用Wasserstein距离来衡量，损失函数进行相应的改进；同时在生成器与判别器对应的神经网络架构中均引入自注意力机制，提高生成图像局部像素区域之间的关联性，由此提高生成图像的质量。

技术领域

本发明属于计算机视觉领域，涉及一种融合自注意力机制的生成对抗网络方法。

背景技术

近年来，以神经网络为核心的深度学习技术在计算机视觉领域如日中天，神经网络中的判别式模型已被应用于解决诸如，图像识别、图像分类以及图像的文本描述等基础问题；然而，用于生成图像数据的生成式模型却面临建模过程难度高，生成效果清晰度欠佳等问题，这些原因导致使用生成式模型难以被应用到图像生成领域中去。为解决该问题，把生成式模型与判别式模型结合在一起对图像数据进行对抗式的训练，解决了建模过程困难问题的同时又提高了生成图像数据的质量，这一方案称之为生成对抗网络。最近几年，大数据环境下的深度学习依赖大量的数据进行训练，能够生成大量高质量图像数据的生成对抗网络是必要的。

生成对抗网络由生成式神经网络的生成器，与判别式神经网络的判别器两部分组成。其中，判别器的训练目标是通过训练提高其对真实图像的甄别能力，提高对真实图像的分数，降低对生成图像的分数。生成器的训练目标是通过训练，提高生成图像数据的质量，让生成的图像数据能够在判别器中取得更高的分数。生成对抗网络训练过程主要包括两个阶段，第一个阶段对判别器输入图像数据，进行真实图像甄别能力的训练，第二个阶段对生成器进行训练，提高其生成图像数据在判别器中的分数，两个阶段循环进行，当判别器无法对生成器生成的图像数据做出准确的判断时，我们认定生成对抗网络的训练达到了稳态平衡。

早先的生成对抗网络技术存在模式坍塌问题，样本模式单一缺乏多样性。详细来说，生成对抗网络通过对抗式的训练将生成器生成图像的数据分布向真实图像的数据分布拉拢，而真实图像的数据分布难以获得，则通过使用真实图像数据训练判别器得到接近真实的图像数据分布，原始生成对抗网络技术描述两种图像数据分布之间的距离的标准为交叉熵即JS散度，当两者分布在训练初期不存在相交时，采用JS散度的训练结果较差，不能够为生成器的训练提供有效的梯度从而导致模式坍塌。除此之外，早先不可控的生成对抗网络难以生成像素清晰的图像，究其原因是其网络架构中只包涵卷积层，不能得到整张图像中局部像素区域之间的关系，因而生成的图像有着完整的图像轮廓但清晰度不高且细节缺失。继续一种包含了新的数据分布距离评估标准以及提高生成图像清晰度机制的生成对抗网络方案。

发明内容

有鉴于此，本发明的目的在于提供一种融合自注意力机制的生成对抗网络方法。

为达到上述目的，本发明提供如下技术方案：

一种融合自注意力机制的生成对抗网络方法，该方法包括以下步骤：

S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；

S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；

S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。

进一步，所述步骤S2中，数据的训练过程包括4个阶段：