[发明专利]一种结合皮尔逊重构的文本到图像生成方法

说明书

本发明公开了一种结合皮尔逊重构的文本到图像生成方法，其特征在于，包括如下步骤：1）数据预处理；2）建立图像生成模型；3）条件融合；4）特征向量生成；5）判别器判别；6）多尺度联合损失；7）网络训练；8）图像生成。该方法能重构判别器的输出，获得与网络的输入线性相关的特征向量，同时限制判别器的判别能力，使得生成器训练时更容易收敛并提高生成样本的质量和多样性。

技术领域

本发明涉及图像生成领域，具体涉及一种结合皮尔逊重构的文本到图像生成方法。

背景技术

文本到图像生成(Text-to-Image generation)在图像生成领域中一直是一项具有挑战的研究任务，目的是为了学习一个从文本语义空间到彩色图像空间的映射，生成逼真图像的同时捕捉到文本的语义，即生成的图像应保留文本描述中的物体特征和语义细节。文本到图像生成在图像生成领域越来越活跃，一些应用方面也都有了广泛的需求，比如艺术生成，计算机辅助设计等。

目前的文本到图像生成方法主要基于生成式对抗网络。最先由Reed等人通过一个基于条件生成对抗网络的框架来处理这项任务，方法将整个文本描述编码为一个全局的句子向量作为条件进行图像生成，并且提出了一种新的图像文本匹配对抗训练策略，成功生成了分辨率为64x64的可信赖样本；Zhang等人提出了堆叠式条件生成对抗网络(StackGAN)，将生成网络分为两个阶段，先绘制出对象的大致轮廓和颜色，再通过多级残差网络修补生成样本的细节和缺陷，最后生成了分辨率为256x256的样本，极大提高了生成样本的质量。

尽管以上方法生成样本的分辨率越来越高，但对抗学习中判别器训练速度普遍快于生成器，这会导致两者训练时难以达到纳什平衡，使得生成样本的质量和多样性难以提升。

发明内容

本发明的目的是针对现有技术的不足，而提供一种结合皮尔逊重构的文本到图像生成方法。该方法能重构判别器的输出，获得与网络的输入线性相关的特征向量，同时限制判别器的判别能力，使得生成器训练时更容易收敛并提高生成样本的质量和多样性。

实现本发明目的的技术方案是：

一种结合皮尔逊重构的文本到图像生成方法，与现有技术不同处在于，包括如下步骤：

1)对原始图像中的目标物体进行标记,利用标记好的边界框对输入的原始图像进行裁剪，使得目标物体的边界框的对象-图像大小比大于0.75，并为每张图像提供十个文本描述，将文本描述编码为句嵌入向量再对裁剪图像进行缩放，得到多尺度的训练集x_i；

2)建立图像生成模型：图像生成模型为堆叠式的条件生成对抗网络，条件生成对抗网络由生成器和判别器组成，堆叠式条件生成对抗网络由多对不同尺度的生成器和判别器组成，生成器之间共享权值，判别器分别独立；

3)条件融合：采用重参数技术将步骤1)中所述句嵌入向量转换为低维条件向量c，采用随机高斯向量z与条件向量c进行维度相加得到组合向量y，将组合向量y作为首个生成器G₀的输入，其他生成器都需额外加入条件向量c；

4)特征向量生成：将步骤3)得到的组合向量y输入生成器，得到不同尺度的生成图像s_i，并将不同尺度生成图像s_i输入对应尺度判别器D_i中，在判别器D_i中额外加入步骤3)得到的条件向量c得到不同尺度生成图像s_i的特征向量

5)判别器判别：依据最大化皮尔逊相关系数方法将步骤4)生成的特征向量与步骤3)中得到的组合向量y进行皮尔逊重构，分离出特征向量的均值自由度，采用特征向量的均值进行判别；

6)多尺度联合损失：将步骤4)得到的不同尺度生成图像s_i的特征向量分别与步骤3)得到的组合向量y分别进行皮尔逊重构，并将重构损失分别加入不同尺度判别损失和生成损失中；