[发明专利]一种引入胶囊网络的文本生成图像方法及装置

说明书

本发明公开了一种引入胶囊网络的文本生成图像方法及装置，包括训练阶段和测试阶段，训练阶段通过文本信息，类标签和真实图像来训练一个引入胶囊网络的图像生成模型，包括多阶段的图像生成器和对生成图像评分的图像判别器，测试阶段输入文本及其类标签，利用图像生成器生成对应的图片，在文本生成图像的过程中引入了胶囊网络，同时学习自然语言文本和对应类标签中的实体信息，加强生成图像和文本的相关性。本发明的有益效果为：通过胶囊网络加强了对实体信息的学习，通过在较低维度的隐空间对文本信息和类信息进行融合，降低了训练的参数量，加强了文本和类信息的交互，在训练过程中通过多阶段的生成过程，降低了直接生成高分辨率图像的训练难度。

技术领域

本发明涉及深度学习生成模型技术领域，具体涉及一种引入胶囊网络的文本生成图像方法及装置。

背景技术

文本生成图像是一个重要的问题，而且有广泛的应用，如计算机辅助设计，插图生成等。

文本生成图像方法的研究主要基于两种生成式的模型，分别是条件变分编码器(Conditional Variational Auto-Encoder，简称CVAE)和条件生成对抗网络(ConditionalGenerative Adversarial Networks，简称CGAN)。其中CVAE方法生成的图片往往存在图片模糊的问题，现在主流的方法都是基于CGAN的模型。

由于GAN本身训练的不稳定性，从文本描述直接生成高分辨率的图像是非常困难的，因此层级生成对抗网络(StackGAN)提出一种先从文本生成分辨率较低的图像，再通过低分辨率图像逐步生成高分辨率图像的策略，被后来的工作广泛运用。

一般的文本语义嵌入表示只有一个句子级别的信息，缺少文本中的细节信息与图像的对应，注意力生成对抗网络(AttnGAN)通过注意力机制将文本的中的特定词与生成图片子区域相对应，在生成效果上有所提高。

在传统的CGAN结构中，初始输入的条件向量一般会通过一个全连接层映射到一个狭长的三维初始图像特征表示。但一般的语义空间维度较低，而图像特征空间维度较高，直接使用全连接层做这个维度转换可能会有信息丢失的问题。

胶囊网络(Capsule Network)是一种新型的神经元，输入输出均为向量，其激活向量代表特定类型的实体的实例化参数，激活向量的模可以表示实体出现的概率。

传统的文本生成图像网络仅仅使用文本信息，而忽略了文本本身的类信息。但这种类信息对文本生成同样是有帮助的，同一个类的物体往往具有一定的相似性，引入文本的类信息可以帮助解决单一的文本描述本身存在片面性的问题，同时拉近生成图像和文本之间的相关性。

针对文本生成图像的方法，广泛使用Inception Score(IS)的指标进行评价。IS通过计算生成图像分布和真实图像分布的相关性来评估生成图像的质量，IS值越高，表示生成的图像包含更清晰、更易于识别的实体。

发明内容

本发明所要解决的技术问题是针对上述现有图像生成方法的不足，提供了一种引入胶囊网络的文本生成图像方法及装置，能够在图像生成的过程中引入文本所属的类信息，通过类信息约束同一类文本生成图片的相关性，同时解决单一文本描述可能不全面的问题。

为解决上述技术问题，本发明采用的技术方案为：一种引入胶囊网络的文本生成图像方法及装置，包括如下步骤：

步骤1，对描述图像的自然语言文本进行编码，得到文本语义嵌入表示；

步骤2，将文本本身的类标签进行编码，得到类信息语义嵌入表示；

步骤3，将步骤1得到的文本语义嵌入表示与随机噪声进行混合，采用循环神经网络读取文本语义嵌入表示以及随机噪声，输出文本的对象隐编码以及文本中每个单词的隐编码；

步骤4，将步骤2得到的类信息语义嵌入表示与噪声进行混合，通过变分推断得到类信息的对象隐编码；