[发明专利]基于调制融合和生成对抗网络的文本生成图像方法

权利要求书

1.一种基于调制融合和对比学习生成对抗网络的文本生成图像方法，其特征在于，包括以下步骤：

一、建立调制融合模块；

创建文本特征变换层(Text Feature Transform Layer，TFT-Layer)，文本特征变换层包含两个并行的全连接神经网络生成调制参数，并且为了增强条件向量的表达能力，全连接层之间通过函数进行非线性激活；

TFT-Layer的输入是文本嵌入向量和上一隐层特征图，分别通过两个全连接层学习调制参数和，用于控制特征图的缩放操作，用于控制特征图的平移操作；

调制融合模块设计成了残差结构，包含主路的两个文本特征变换层、两个卷积层和支路的一个卷积层，支路的卷积层是一个1×1的卷积操作，在主路中，特征图先后进行两次特征变换层调制后，每次都经过一个3×3的卷积层，另外，并避免ReLU函数造成的稀疏问题，所有激活函数使用LeakyReLU函数；在残差结构最后的逐位相加之前，使用一个可学习的自适应系数α与主路的特征图相乘，该参数初始化为0，每个调制融合模块的输入是上一隐层的特征图和文本嵌入向量；

二、建立生成器网络结构；

生成器由一个映射网络、八个调制融合模块，六个上采样模块和一个卷积层组成；

映射网络的作用是将噪声向量升维成为可以上采样的特征图，输入是噪声z～N(0,1)，维度为(batchsize,100)，通过一个全连接层后输出(batchsize,4*4*100)，然后转换成(batchsize,-1,4,4)的特征图；

三、建立判断器网络结构

语义重构的判别器由一个特征提取器和三个分支组成的，输出是batch×256×4×4的特征图，三个分支包括：语义重构分支、无条件损失分支和条件损失分支；

四、建立对比学习网络进行对比损失；

对比学习网络框架由生成器和判别器组成；

对比学习的目标是训练出一个编码器提取输入数据的特征，使匹配数据的评价分数大于不匹配数据的评价分数，计算对比损失，作用于生成器；

五、优化损失函数；

损失函数包括生成对抗损失、语义重构损失，公式表示为：

L_G＝L_Gadv+λ₁L_recon+λ₂L_info

L_D＝L_Dadv

优化损失函数步骤如下：

实验的训练周期为700轮，首先从样本中采样出真实图像，匹配文本、相同语义的文本以及不匹配的文本，通过文本编码器获得匹配文本嵌入向量、相同语义的文本嵌入向量和不匹配的文本嵌入向量，从随机高斯分布中采样噪声，将噪声和各自的文本嵌入向量输入生成器中得到各自对应的生成图像，然后将真实图像匹配文本、真实图像不匹配文本以及生成图像匹配文本作为输入，让判别器学习输入的图像是否真实，计算铰链损失优化判别器；同理，生成器通过输入生成图像匹配文本以及生成图像的不匹配文本计算铰链损失、生成对抗损失以及语义重构损失优化生成器。

2.根据权利要求1所述的一种基于调制融合和对比学习生成对抗网络的文本生成图像方法，其特征在于：步骤一中用于控制特征图的缩放操作，用于控制特征图的平移操作，计算公式如式1、2和3；

γ_i,β_i＝Repeat(γ_i,β_i)               (2)

是所述的两个全连接神经网络，t表示文本嵌入向量，维度为Batchsize×256，i表示网络的层数，范围是[1,8]，γ_i的维度和β_i的维度相同，维度为batchsize×C；和+分别表示逐位相乘和逐位相加运算，因为γ,β是二维矩阵，需要进行空间复制，空间复制后，维度为batchsize×C×D×D；H_i和H_i+1分别表示输入的中间层特征图和经过调制后的中间层特征图，维度为batchsize×C*D*D。