[发明专利]一种基于生成对抗网络的文本到图像生成方法

说明书

本发明公开了一种基于生成对抗网络的文本到图像生成方法，包括以下步骤：1)向网络中输入一段文本描述，根据文本描述生成单词特征矩阵和句子特征向量；2)向句子特征向量添加条件和噪声向量，获得图像特征矩阵；3)计算图像特征的单词上下文矩阵；4)利用图像特征矩阵和单词上下文矩阵在生成对抗网络中进行计算，分三个阶段逐步生成越来越高分辨率的图像；5)根据生成的图像获取本地图像特征矩阵；6)评估生成图像和文本描述的相似度，优化下一次图像生成。本发明的图像生成方法，不仅可以保证生成图像的内容与文本描述的语义相一致，还可以保证生成图像拥有更加优化的图像细节，能够有效提高生成图像的分辨率，增加生成图像的多样性。

技术领域

本发明涉及图像生成领域，特别涉及一种基于生成对抗网络的文本到图像生成方法。

背景技术

基于文本描述生成高分辨率和逼真的图像是一项非常有意义的研究。在工业上，它不仅为计算机视觉领域的相关研究提供了对更深层次的视觉理解的帮助，而且具有广泛的现实应用。在学术界，它已成为近年来计算机视觉领域最受欢迎的研究方向之一，并取得了显著成果。递归神经网络(RNN)和生成对抗网络(GAN)经常被结合起来，用来基于自然语言描述生成真实的图像。这些方法已经能够在某些领域产生令人满意的结果，例如创建花朵或鸟类的精美图像。

原始GAN模型包含一个生成器和一个判别器。生成器经过优化，可以产生向真实数据分布的样本，从而达到欺骗判别器的目的。训练后的判别器可以将真实数据分布样本与生成器生成的虚假样本分开。生成器和判别器在相互博弈中达到最优，使生成的结果越来越好。

尽管已经取得了令人印象深刻的结果，但是在训练条件生成对抗网络时，仍然面临许多挑战。大多数模型倾向于只学习一种数据分布模式，这种模式易于崩溃，也就是说，生成器每次都会生成相同的图像。尽管图像清晰，但没有变化。另一个主要挑战是训练过程的不稳定以及训练过程中获得的损失不会收敛。此外，大多数现有的图像生成方法都将关注的重点放在全局句子向量上，有用的细粒度图像特征和单词级文本信息都被忽视了。不仅如此，在评估生成的图像时，不认为图像的每个子区域对整个图像有着不同的影响。这样的方法一方面将阻碍高质量图像的生成，另一方面也会减少所生成图像的多样性。当需要生成的场景和对象更加复杂时，此问题将变得更加严重。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于生成对抗网络的文本到图像生成方法，能够达到既满足生成图像的内容与文本描述的语义相一致，又使生成图像拥有更加优化的图像细节的目的，有效提高生成图像的分辨率，增加图像的多样性。

本发明的目的通过以下的技术方案实现：

一种基于生成对抗网络的文本到图像生成方法，包括以下步骤：

1)向网络中输入一段文本描述，根据文本描述生成单词特征矩阵和句子特征向量；

2)向句子特征向量添加条件和噪声向量，获得图像特征矩阵；

3)计算图像特征的单词上下文矩阵；

4)利用图像特征矩阵和单词上下文矩阵在生成对抗网络中进行计算，分三个阶段逐步生成越来越高分辨率的图像；

5)根据生成的图像获取本地图像特征矩阵；

6)评估生成图像和文本描述的相似度，优化下一次图像生成。

步骤1)中，所述文本描述是对一个以上对象的属性进行的描述，通过一个双向长短期记忆网络，将文本描述中每个单词相对应的两个隐藏状态串联起来，以表示单词的语义；所述属性包括种类、大小、数量、形状、位置；所述两个隐藏状态，最后一个隐藏状态所连接得到的是全局句子向量，其余隐藏状态串联得到的是单词特征矩阵。

所述步骤2)，具体如下：

2.1)向句子特征向量添加条件形成条件增强，以增强训练数据和避免过度拟合；