[发明专利]基于长短期跨模态一致性推理的迭代文本图像生成方法

说明书

本发明公开了基于长短期跨模态一致性推理的迭代文本图像生成方法。首先获取文本指令意图的特征向量表示；然后提取源视觉图像的长期视觉特征信息和短期视觉特征信息；再构建目标图像生成器，通过目标图像生成器输出目标图像；将文本指令信息，长短期源视觉特征和生成的目标图像共同输入到长短期跨模态判别器，分别输出长期跨模态的一致性得分和短期跨模态的一致性得分。本发明通过长短期的一致性推理，模型可以更好地在语义空间对齐物体的视觉属性和相关地文本指令，以及更好地构建物体与物体之间的相对位置关系，进一步地保证了用户文本与所述图像的跨模态一致性，提高了生成质量。

技术领域

本发明涉及文本图像生成领域,具体涉及一种基于长短期跨模态一致性推理的迭代文本图像生成方法。

背景技术

近年来随着深度卷积神经网络和循环神经网络的快速发展，文本和图像的跨模态交互设计已成为重要的研究性课题之一。文本图像生成任务不仅需要生成一张逼真的图片而且还需要满足用户所提出的指令条件，在动画创作、艺术设计等实际应用中具有重要作用。

早期的文本图像主要集中在从可用的文本指令中生成单一的图像，然而一些复杂创作需要多个步骤和先验知识才能成功应用，El-Nouby等人尝试以持续的语言作为输入来迭代地编辑目标的图像，这带来了更加自然和更加有效的人工智能交互。

为了迭代地生成目标图片，CoDraw通过强化学习算法将单个视觉对象逐步地放置在正确的位置；GeNeVA提出了一个循环图像生成模型，该模型考虑了到当前步骤的图像输出以及所有过去的生成指令在像素空间中来迭代地构建视觉场景；SSCR提出一个反事实推理框架让模型考虑与以前的图像配对的偏外分布指令，来克服迭代过程中的数据稀缺性。IR-GAN利用对抗学习设计了一种增量推理机制，通过生成器来生成目标图像，判别器来判别生成图像的质量效果。

然而上述方法主要侧重于生成高质量的图像特征，缺乏解决迭代过程中视觉与文本之间的跨模态语义信息不一致性的问题，这会造成指令中的文本描述无法对齐源图像中的视觉元素，进一步导致了目标图像中的物体位置或自身属性信息与文本指令不符，无法按照用户的意图来生成需要的图片。

发明内容

针对现有技术中存在的上述不足,本发明的目的是提出一种基于长短期跨模态一致性推理的迭代文本图像生成方法，该方法有效地解决了迭代过程中文本与图像跨模态信息不一致的问题，能够更清楚地理解用户的指令意图，保证了目标图像的良好逻辑性。

本发明是通过下述技术方案来解决上述技术问题的。

基于长短期跨模态一致性推理的迭代文本图像生成方法，包括如下步骤:

步骤1：获取迭代序列中的文本指令和对应的真实图像，文本指令使用Glove模型进行预处理，真实图像用于后续的对抗训练。

步骤2：将预处理好的文本指令输入到指令编码器，获取迭代过程中的文本指令意图的特征向量表示。

步骤3：从迭代视觉场景中提取源视觉图像的长期视觉特征信息和短期视觉特征信息。

步骤4：构建目标图像生成器，通过目标图像生成器输出目标图像。

所述目标图像生成器，分别将长短期视觉特征与文本指令进行夸模态融合，然后再利用图像解码器解码多模态的合成表征，并生成128x128的目标图像。

步骤5：将步骤2提取的文本指令信息，步骤3获得的长短期源视觉特征，步骤4生成的目标图像共同输入到长短期跨模态判别器，分别输出长期跨模态的一致性得分和短期跨模态的一致性得分。

步骤6：构建长短期一致性对抗损失。