[发明专利]信息处理方法和基于文本生成图像的装置

说明书

本发明公开了信息处理方法和基于文本生成图像的装置。所述方法包括：从样本文本中提取表征样本文本中的词之间的关联性的文本特征；以尺寸变化的窗口来选择性地截取文本特征的各个局部，以得到各个局部文本特征；基于样本文本的各个局部文本特征和与样本文本对应的样本图像来训练图像生成模型，其中，图像生成模型包括编码器模块和解码器模块，训练后的图像生成模型中的解码器模块根据所输入的文本的各个局部文本特征来迭代地生成与所输入的文本对应的图像，并且各个局部文本特征分别在各次迭代中截取。

技术领域

本发明涉及信息处理领域，尤其深度学习领域，并且具体地涉及信息处理方法和基于文本生成图像的装置。

背景技术

基于自然语言描述而自动生成图像是人工智能领域中非常重要的研究内容，有非常广泛的应用。在这方面，深度学习方法已经取得很多进展。在深度学习技术中主要有两类方法生成图像，一类是变分自编码方法，一类是生成对抗网络方法。

KingmaWelling提出的变分自编码方法可看做是一个有连续隐变量的神经网络。编码端模型近似隐变量的后验概率分布，解码端模型基于隐变量的概率分布而构造图像。Gregor等人提出了深度循环关注写模型(Deep Recurrent Attention Write(DRAW))生成图像，DRAW模型将变分自编码方法扩展到序列变分自编码框架。

生成对抗网络方法包括一个基于概率分布生成数据的生成器模型和一个判断数据是真实数据还是生成数据的判别器模型。Gauthier提出了一种条件对抗网络来生成不同类别的图像。Denton等人在拉普拉斯金字塔框架下为每层图像都训练一个条件生成对抗网络，然后在拉普拉斯金字塔框架下基于每层的条件对抗网络由粗糙到精细地生成图像。

虽然现有技术中已存在上述生成图像的技术，但仍需要改进的基于文本生成图像的方法。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。

本发明提供了一种信息处理方法，包括：从样本文本中提取表征样本文本中的词之间的关联性的文本特征；以尺寸可变的窗口来选择性地截取所述文本特征的各个局部，以得到各个局部文本特征；基于所述样本文本的各个局部文本特征和与所述样本文本对应的样本图像来训练图像生成模型，其中，所述图像生成模型包括编码器模块和解码器模块，训练后的图像生成模型中的解码器模块根据所输入的文本的各个局部文本特征来迭代地生成与所输入的文本对应的图像，并且各个局部文本特征分别在各次迭代中截取。

根据本发明的另一方面，提供了一种基于文本生成图像的装置，包括：文本特征提取部，提取表征文本中的词之间的关联性的文本特征；局部文本特征截取部，以尺寸可变的窗口来选择性地截取所述文本特征的各个局部，以得到局部文本特征；以及图像生成模型，所述图像生成模型中的解码器模块根据输入文本的各个局部文本特征来迭代地生成与所述输入文本对应的图像，各个局部文本特征分别在各次迭代中来截取。

根据本发明的又一方面，提供了一种利用上述的训练后的装置来基于文本生成图像的方法，包括：由所述文本特征提取部提取表征文本中的词之间的关联性的文本特征；由所述局部文本特征截取部以尺寸可变的窗口来选择性地截取所述文本特征的各个局部，以得到局部文本特征；以及所述图像生成模型中的解码器模块根据输入文本的各个局部文本特征来迭代地生成与所述输入文本对应的图像，各个局部文本特征分别在各次迭代中来截取。

根据本发明的再一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。