[发明专利]一种文本到图像的方法

说明书

本发明提供一种文本生成图像的方法，包括如下步骤：S1：训练对抗视觉语义嵌入模型，所述对抗视觉语义嵌入模型包括：图像编码器网络，图像解码器网络，生成器网络和与所述生成器网络配对的判别器网络；S2：将文本输入所述生成器网络，所述生成器网络输出文本特征嵌入；S3：将所述文本特征嵌入输入到所述解码器网络，所述解码器网络输出符合所述文本的语义描述的图像。用对抗训练的方式对现有文本数据进行视觉特征嵌入方法进行了增强，从而缩小了文本模态数据和图像模态数据在语义空间当中的分布之间的差异。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种文本到图像的方法。

背景技术

文本到图像生成是近年来计算机视觉领域的一个热门的研究课题。在现有各类方法中，基于生成式对抗网络(GAN)的深度生成模型显得尤为重要，因为在理论上它们能够以相对较少的模型参数来生成各种逼真的图像，这意味着它们有能力抓住自然图像的本质。GAN作为一类生成模型已经引起了广泛的关注，它们有能力拟合自然图像的分布，并被广泛应用于各种图像生成任务，如图像修补，超分辨率，图像到图像的转换和未来的帧预测。

近年来有不少方法尝试去提取文本的语义嵌入，比如经典的word2vec。在计算机视觉领域，人们专注于将文本的视觉语义，例如文本描述中提到的颜色、性质、纹理、位置等信息嵌入到语义空间中。现有的做法大多采用基于判别类型任务的方法来预训练一个提取文本语义嵌入的深度神经网络。具体来说，该判别类任务是判断一张图片和一条文本描述在语义上是否吻合。

随着深度生成模型的发展，尤其是对抗生成网络的在理论和实践上的进步，文本到图像的生成任务取得了阶段性的成果。现有的主流方法一般采用条件生成对抗网的框架，将文本描述作为条件来生成符合文本描述的图像。然而文本到图像生成这一跨模态的任务中，两个不同模态的数据在语义空间当中的分布及其不对等，文本模态的数据较为稀疏，图像模态的数据较为稠密。上述的这些方法在处理文本模态的特征时并没有充分挖掘文本特征提取的潜力，从而跨越这一鸿沟。

发明内容

本发明为了解决现有技术中从文到图像的问题，提供一种文本到图像的方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种文本生成图像的方法，包括如下步骤：S1：训练对抗视觉语义嵌入模型，所述对抗视觉语义嵌入模型包括：图像编码器网络，图像解码器网络，生成器网络和与所述生成器网络配对的判别器网络；S2：将文本输入所述生成器网络，所述生成器网络输出文本特征嵌入；S3：将所述文本特征嵌入输入到所述解码器网络，所述解码器网络输出符合所述文本的语义描述的图像。

优选地，训练所述对抗视觉语义嵌入模型包括如下步骤：S11：构建对抗视觉语义嵌入模型；S12：应用重构损失函数训练所述图像编码器网络和所述图像解码器网络；S13：应用所述重构损失函数训练所述生成器网络和所述解码器网络；S14：应用沃瑟斯坦距离作为损失函数训练所述生成器网络和所述判别器网。

优选地，所述重构损失函数为：

其中，Enc表示所述图像编码器网络，Dec表示所述图像解码器网络，Z表示Encoder提取的特征，x表示训练图像样本，D_KL表示KL散度，P(z)是先验分布。

优选地，在所述重构损失函数中加入感知损失。

优选地，所述沃瑟斯坦距离为：

其中，G为所述生成器网络，D为所述判别器网络，nz为从标准高斯分布中采样出的100维的噪声，x为训练集图片，t为训练集文本描述，1-lipschitz表示一阶李普希斯连续，P_data为训练集图片的概率分布,E为期望。