[发明专利]一种引入胶囊网络的文本生成图像方法及装置

权利要求书

1.一种引入胶囊网络的文本生成图像方法及装置，其特征在于：所述方法包括如下步骤：

步骤1，对描述图像的自然语言文本进行编码，得到文本语义嵌入表示；

步骤2，将文本本身的类标签进行编码，得到类信息语义嵌入表示；

步骤3，将步骤1得到的文本语义嵌入表示与随机噪声进行混合，采用循环神经网络读取文本语义嵌入表示以及随机噪声，输出文本的对象隐编码以及文本中每个单词的隐编码；

步骤4，将步骤2得到的类信息语义嵌入表示与噪声进行混合，通过变分推断得到类信息的对象隐编码；

步骤5，将步骤3和步骤4得到的文本隐编码和类信息隐编码进行融合，得到包含文本信息和类信息的融合隐编码；

步骤6，对步骤5得到的融合隐编码利用胶囊网络进行转码，得到图像特征；

步骤7，对步骤6得到的图像特征进行解码，输出目标尺寸的图像；

步骤8，将生成的图像与对应的真实图像进行对抗训练；

步骤9，将步骤6得到的图像特征和步骤3中得到的文本中每个单词的隐编码利用注意力模型进行融合，作为下一阶段的输入，重复步骤6-8，逐步生成分辨率更高的图像。

步骤10，在测试阶段，输入自然语言文本与其类标签，根据步骤1-7，分阶段生成对应的图像。

2.根据权利要求1所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤6中的胶囊网络是一种神经元，输入输出均为向量，其激活向量的模可以表示实体出现的概率，利用胶囊网络对实体的表征能力，在生成器中对文本和类信息的联合编码进行转码，之后利用图像解码器得到对应维度的图像，在判别器中对类信息进行评价，增强判别器对生成图像中实体信息的识别。

3.根据权利要求1所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤1中对描述图像的自然语言文本进行编码的方法为：对自然语言文本进行分词，得到长度为d的词序列p＝(w₁,w₂,…w_d),其中每个单词w_i采用预训练的词向量进行表示，i＝1～d,利用得到的词向量对文本进行编码。

4.根据权利要求1所述的引入胶囊网络的文本生成图像方法，其特征在于：所述步骤2中如果每个文本-图像数据只属于一个类，则使用一位有效编码(one-hot)的方式对类信息进行编码；如果文本-图像数据属于多个类，则使用多位有效编码(multi-hot)的方式编码类信息。

5.根据权利要求1所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤3中循环神经网络采用双向长短时记忆网络，其中长短时记忆网络读取文本语义嵌入以及上一步的隐状态，输出每步的对象隐编码，将每步的对象隐编码作为每个单词的词级别的特征s_i,将最后一步的对象隐编码s作为句子级别的特征，也就是文本的对象隐编码。

6.根据权利要求1所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤3中文本语义嵌入表示与噪声的混合方式采用直接连接的方式，采用的噪声为高斯噪声文本语义嵌入s与z的混合结果为所述步骤4中类信息语义嵌入与噪声的混合方式为变分推断，即变分编码器在给定噪声和类信息c的情况下，推测类信息的隐属性分布从该分布中采样的类信息语义嵌入表示z_c。

7.根据权利要求1所述的所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤5中采用直接连接的方式对文本隐编码和类信息隐编码进行融合得到融合隐编码z＝(z_s,z_c)。

8.根据权利要求1所述的引入胶囊网络的文本生成图像方法及装置，其特征在于：所述步骤6中利用胶囊网络将包含类信息的融合隐编码转码成图像初始表征，然后利用上采样网络得到对应维度的图像特征。