[发明专利]一种感知联合空间注意力文本生成图像方法

说明书

本发明公开了一种感知联合空间注意力文本生成图像方法，包括生成初始图像，绘制对象的基本形状和颜色；进行图像细化，生成从空间维度和单词重要性维度细化的新图像特征；细化过程包括通过细粒度单词级文本信息和图像信息融合，并联合空间注意力机制和动态记忆力机制对初始图像消除缺陷并添加细节，增强图像特征区域表征；通过训练目标函数，鼓励生成器生成更真实更符合文本语义的图像。本发明保证了生成器专注于与最相关的单词对应的图像子区域的内容以及位置和形状，同时避免了生成过程中的随机性，减少了最终生成的图像和目标图像之间的差异，本方法能够提高文本生成图像的感知质量和布局，能够高效准确得生成图像。

技术领域

本发明属于文本合成图像领域，具体涉及一种感知联合空间注意力文本生成图像方法。

背景技术

文本到图像合成技术在艺术生成和计算机辅助设计等领域的应用有很大前景。现在，采用文本生成图像不仅可以大大降低文字创作者匹配图像的成本，还可以提高计算机创作的效率。因此，寻找更有效的方法来生成真实的高分辨率图像，用于文本-图像合成是非常必要的。

生成对抗网络(Generative Adversarial Network，简称GAN)基于博弈论的思想，通过深度神经网络构造生成器模型和判别器模型。生成器以随机噪声为输入生成样本，判别器判断生成样本是否真实。模型训练过程中，生成器不断提高让样本以假乱真的能力，判别器不断提高鉴别的能力。近年来随着GAN理论的不断进步，GAN在一些应用领域上有优异的表现，其中包括GAN在文本生成图像领域取得的成就。

现阶段文本生成图像方法主要分为两种：单阶段方法包括通过对抗式学习进行语义图像合成、文本条件辅助分类器生成对抗网络(TAC-GAN)、即插即用生成网络(PPGAN)；多阶段方法包括堆叠的对抗生成网络(StackGAN)、基于注意生成对抗网络的细粒度文本图像生成(AttnGAN)、用于文本图像合成的动态记忆生成对抗网络(DMGAN)。多阶段文本生成图像方法由多个对抗生成网络组成，整个模型分为初始阶段和细化阶段。在初始阶段，随机噪声和编码后的文本联合输入到生成器中生成模糊的初始图像，在后续阶段上一层图像特征向量和词向量拼接输入到对抗生成网络，使得将模糊的初始图像转化为清晰的高分辨率图像，为减少模型复杂度，该阶段一般重复两次，因此多阶段文本生成图像方法一般共有三次生成，其分辨率首先从64*64提升到128*128，然后再提升到256*256。

现有的方法虽然可以产生良好的效果，但它们仍然存在两个问题。首先，大多数先驱方法不能很好地生成真实图像。例如，大多数先驱多阶段方法在生成目标图像时严重依赖初始阶段的布局，原因在于这种策略忽略了信息空间特征，从而导致生成图像布局缺陷(即结构边缘模糊和多对象混淆)。因此，这种方法在文本到图像合成的任务中获得了不真实的图像。其次，根据文本描述生成的图像是随机的。例如，当文本中没有描述对象类别时，生成的图像的内容可能与真实图像有很大不同。此外，尽管多阶段方法是迄今为止最好的生成方法，但在处理具有多个对象的复杂文本(例如COCO数据集)时，它们不能很好地聚焦和细化所有对象，所以生成结果的质量是不准确的。

发明内容

本发明的目的在于提供一种感知联合空间注意力文本生成图像方法，该方法能够提高文本生成图像的感知质量和布局，更加准确高效。

本发明提供的这种感知联合空间注意力文本生成图像方法，包括如下步骤：

S1.生成初始图像，绘制对象的基本形状和颜色；

S2.进行图像细化，生成从空间维度和单词重要性维度细化的新图像特征；包括通过细粒度单词级文本信息和图像信息融合，并联合空间注意力机制和动态记忆力机制对初始图像消除缺陷并添加细节，增强图像特征区域表征；