[发明专利]信息处理方法和基于文本生成图像的装置

权利要求书

1.一种信息处理方法，包括：

从样本文本中提取表征样本文本中的词之间的关联性的文本特征；

以尺寸变化的窗口来选择性地截取所述文本特征的各个局部，以得到各个局部文本特征；和

训练图像生成模型，其包括：

利用编码器模块来迭代地压缩样本图像，并且在各次迭代中从所述编码器模块输出特征量的第一分布，所述特征量表征所述样本图像和所述样本文本的关键信息，

利用解码器模块基于所述样本文本的各个局部文本特征和各个第一分布来迭代地生成输出图像，并且利用所述解码器模块来构建各次迭代中的所述特征量的第二分布，以及

基于所述样本图像、所述输出图像、所述第一分布和所述第二分布来计算所述图像生成模型的损失函数以优化所述图像生成模型，

其中，所述图像生成模型包括编码器模块和解码器模块，训练后的图像生成模型中的解码器模块根据所输入的文本的各个局部文本特征来迭代地生成与所输入的文本对应的图像，并且各个局部文本特征分别在各次迭代中截取。

2.根据权利要求1所述的信息处理方法，其中，从样本文本中提取所述文本特征包括：

对所述样本文本进行向量化，以得到低维度的多个词向量；以及

基于所述词向量来提取表征所述样本文本中的词之间的关联性的文本特征。

3.根据权利要求1所述的信息处理方法，其中，在每次迭代中，基于前次迭代中的解码器模块中的解码器的输出来截取所述局部文本特征。

4.根据权利要求3所述的信息处理方法，其中，在每次迭代中，利用编码器模块来迭代地压缩所述样本图像包括：

基于在前次迭代中所述解码器模块的输出和所述解码器的输出来读取所述样本图像的局部，以得到局部样本图像；以及

基于所述编码器模块中的编码器和所述解码器在前次迭代中的输出，所述编码器压缩所述局部样本图像。

5.根据权利要求4所述的信息处理方法，其中，每次迭代中的第一分布基于所述编码器的输出来构建。

6.根据权利要求5所述的信息处理方法，其中，利用所述解码器模块来迭代地生成图像包括：

在每次迭代中从所述第一分布中采集所述特征量；

基于局部文本特征和前次迭代中解码器的输出，利用所述解码器对所采集的特征量进行解码；

基于前次迭代中解码器的输出来构建所述第二分布；

在每次迭代中将解码器的输出写出到同一矩阵，作为所述解码器模块的输出；以及

基于最终得到的矩阵来生成所述输出图像。

7.根据权利要求6所述的信息处理方法，其中，计算所述图像生成模型的损失函数包括：

计算关于所述样本图像和所述输出图像的第一损失函数；

计算关于所述第一分布和所述第二分布的第二损失函数；以及

基于所述第一损失函数和所述第二损失函数来确定所述损失函数。

8.根据权利要求4至7中任一项所述的信息处理方法，其中，所述编码器和所述解码器利用循环神经网络来实现。

9.一种基于文本生成图像的装置，包括：

文本特征提取部，提取表征文本中的词之间的关联性的文本特征；

局部文本特征截取部，以尺寸变化的窗口来选择性地截取所述文本特征的各个局部，以得到局部文本特征；以及

图像生成模型，所述图像生成模型中的解码器模块根据输入文本的各个局部文本特征来迭代地生成与所述输入文本对应的图像，各个局部文本特征分别在各次迭代中来截取。