[发明专利]一种文本到图像的方法

权利要求书

1.一种文本生成图像的方法，其特征在于，包括如下步骤：

S1：训练对抗视觉语义嵌入模型，所述对抗视觉语义嵌入模型包括：图像编码器网络，图像解码器网络，生成器网络和与所述生成器网络配对的判别器网络；

训练所述对抗视觉语义嵌入模型包括如下步骤：

S11：构建对抗视觉语义嵌入模型；

S12：应用重构损失函数训练所述图像编码器网络和所述图像解码器网络；

S13：应用所述重构损失函数训练所述生成器网络和所述解码器网络；

S14：应用沃瑟斯坦距离作为损失函数训练所述生成器网络和所述判别器网；

S2：将文本输入所述生成器网络，所述生成器网络输出文本特征嵌入；

S3：将所述文本特征嵌入输入到所述解码器网络，所述解码器网络输出符合所述文本的语义描述的图像。

2.如权利要求1所述的文本生成图像的方法，其特征在于，所述重构损失函数为：

；

其中，表示所述图像编码器网络，表示所述图像解码器网络，Z表示Encoder提取的特征，x表示训练图像样本，表示KL散度，是先验分布，表示期望，表示当输入为训练图像样本x时图像编码器网络Enc输出的Encoder提取的特征z，表示当输入为特征z时图像解码器网络Dec输出的训练图像样本x。

3.如权利要求2所述的文本生成图像的方法，其特征在于，在所述重构损失函数中加入感知损失。

4.如权利要求1所述的文本生成图像的方法，其特征在于，所述沃瑟斯坦距离为：

；

其中，为所述生成器网络，为所述判别器网络，为从标准高斯分布中采样出的100维的噪声，为训练图像样本，t为训练集文本描述，表示一阶李普希斯连续，P_data为训练集图片的概率分布,为期望，表示一阶李普希斯连续限制下的上确界，表示训练集图片的概率分布Pdata的训练图像样本x的期望，表示当输入为图像样本x时图像编码器网络Enc输出的Encoder提取的特征，表示判别器网络对图像编码器网络的输出的判别结果，表示噪声nz服从标准正态分布时的期望，表示当输入文本为t和噪声为nz时生成器网络的输出，表示判别器网络对生成器网络的输出的判别结果。

5.如权利要求1所述的文本生成图像的方法，其特征在于，还包括如下步骤：

S4：构造一个新的判别器网络，所述新的判别器网络用于判别所述解码器网络输出的所述图像与训练集中的图像。

6.如权利要求1-5任一所述的文本生成图像的方法，其特征在于，所述编码器网络采用Resnet101的卷积层，在所述卷积层后追加两个全连接层；

所述解码器网络是与Resnet101对称的反卷积网络；

所述生成器网络是GAN-INT-CLS的通道卷积网络；

所述判别器网络是卷积网络。

7.如权利要求1-5任一所述的文本生成图像的方法，其特征在于，采用谱归一化方式来约束所述判别器网络。

8.如权利要求1-5任一所述的文本生成图像的方法，其特征在于，所述生成器网络与所述编码器网络的输出格式相同。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。