[发明专利]一种基于胶囊网络和混合注意力的双重生成对抗学习方法

说明书

本发明涉及了一种基于胶囊网络和混合注意力的双重生成对抗学习方法，属于人工智能、图像处理领域。本发明为一种结合了胶囊网络、自注意力、混合注意力和对抗学习的图像生成方法，包括基于自注意力和胶囊网络的自编码器模块、向量空间自对抗模块、样本空间自对抗模块。并且，样本空间自对抗模块中的样本空间生成器是基于混合注意力的深度生成模型，样本空间判别器则借鉴了LeNet‑5网络。本发明提高了对抗学习在少样本训练生成清晰图像任务中的运算准确度和工作效率，减少了训练时间和训练样本的数量，泛化能力更强，在MNIST等基准数据集上验证了该模型的有效性。

技术领域

本发明涉及一种用少样本生成清晰图像的方法，具体设计一种基于胶囊网络和混合注意力的双重生成对抗学习方法，属于人工智能、图像处理领域。

背景技术

图像生成是计算机视觉中的一个重要问题。在多年来的计算机视觉研究中，注意力机制已经得到广泛研究，并已用于提高现代深度神经网络的性能。事实证明，注意力机制在多种计算机视觉任务中很有用，例如图像生成和图像分类。

最近的许多工作已提出使用通道注意力或空间注意力，或同时使用两者来提高这些神经网络的性能。这些注意机制具有通过建立通道或加权空间之间的相关性(用于空间注意)来改进由标准卷积层生成的特征表示的功能。学习注意力权重背后的直觉是使网络能够了解到哪里参加培训，并进一步关注目标对象。通过引入具有大尺寸内核的卷积来引入空间信息编码，进一步推进了这一思想。

Hinton等人在2017年提出了胶囊网络，并提出动态路由算法，将其应用于初级胶囊到数字胶囊的更新，并将该网络成功应用于MNIST数据集的识别。之后，一种矩阵胶囊的结构被提出，采用矩阵来表述物体之间的姿态，并采用EM算法进行胶囊之间的动态更新。最近，在胶囊层之间加入了注意力模块的Efficient-CapsNet，将胶囊网络中初级胶囊的数量降低到了原来的2％，证明了注意力模块对胶囊网络性能提升的有效性。

与此同时，随着生成对抗学习网络GAN的出现，让图像生成这一任务方向取得了显著进展(Goodfellow等人，2014)，但仍存在许多未解决的问题。基于深度卷积网络的GAN尤其成功。然而，通过仔细检查这些生成的样本，尽管先进的ImageNet GAN模型擅长在结构约束较少的情况下生成图像类别(例如，海洋、天空和景观类别，这些类别更多地通过纹理而不是几何结构来区分)，它无法捕捉某些类别中持续出现的几何或结构模式。

生成对抗网络包括两种模型，分别是生成器G和判别器D，它们的训练同时进行：通过训练D使训练样本和来自G的样本的正确标签的概率最大化；同时通过最小化log(1-D(G(z)))来调整生成器G的参数。

在无条件的生成器中，生成数据的模式是不可控制的。但是，在数据有标签的情况下，可以很方便的将标签作为一个生成网络输入的条件，例如CGAN。这种思想是通过变分自编码器将噪声源分解为不可压缩源和潜在编码，试图通过最大化变分自编码器和生成器的互动信息来发现特征变化的潜在因素。这种潜在编码可以用于以一种无监督的方式发现对象类，学习到的表征具有丰富的语义信息，能够处理图像外观中复杂的相互交织的因素，包括姿势、灯光和面部图像的情感内容的变化。

变分自编码器和生成对抗网络已经日益成熟，但它们都有各自的优缺点。变分自编码器训练速度快、更稳定，但生成出的图像比较模糊；而生成对抗网络也经常存在着训练不稳定、模式崩溃、中间特征信息提取不完全和特征信息丢失等问题。胶囊网络也总是用于分类任务，但是它在生成任务上的有效性，我们有目共睹。在将来的工作中，上述几种深度网络模型致力于更好的相互结合，取长补短，从而可以打破它们各自的局限性。

发明内容

本发明的目的是针对上述已有技术存在的不足和缺陷，在少样本训练生成清晰图像任务中，提供了基于胶囊网络和混合注意力的双重生成对抗学习方法。

本发明采用的技术方案是：一种基于胶囊网络和混合注意力的双重生成对抗学习方法，包括基于自注意力和胶囊网络的自编码器模块E、向量空间自对抗模块和样本空间自对抗模块；