[发明专利]文本生成图像方法、装置和计算机设备

说明书

本申请涉及文字处理技术领域，特别涉及一种文本生成图像方法、装置和计算机设备。首先将多个所述初始图像特征与多个所述单词特征输入动态记忆注意模型中，以增强初始图像特征的视觉特征，再将初始图像特征得到的第一图像特征输入通道注意残差模型中，并将输出的第一细化图像特征与上一阶段生成的初始图像特征进行融合。使用二次记忆方法增强初始图像特征在空间维度的视觉特征表征能力，进一步增强单词级与特征图之间的语义一致性，同时使用通道注意残差块中的通道注意力来增强特征图在通道维度的通道特征表征能力，以便更好地指导图片生成，使得本申请不仅可以生成高质量图像，而且还可以生成更好的语义一致性图像。

技术领域

本申请涉及文字处理技术领域，特别涉及一种文本生成图像方法、装置和计算机设备。

背景技术

生成对抗网络(Generative Adversarial Networks,GAN)在条件图像生成中应用非常广泛，即根据给定条件(文本、草图、语义分割图等)生成相对应的逼真图像，并保证生成图像的质量与多样性。文本生成图像(Text-to-image synthesis,T2I)则是其中具有挑战性的任务之一，它旨在通过给定的文本描述生成与之相对应的逼真图像。并且，随着跨模态任务的兴起，该任务在自然语言处理和计算机视觉领域中吸引了一部分研究者。除此之外，这项任务在某些应用领域中也有着重要的应用价值，例如艺术创作，图像编辑，广告设计等。

现有技术中，为了解决模型依赖初始阶段生成图像的问题，在模型中引入了动态记忆网络，动态记忆网络主要通过单词序列与初始生成图像之间的语义相关性来精细化图像中的细节，虽然在生成过程中减轻了对初始图像质量的依赖性，却未能充分利用图像中包含的通道语义信息；利用深度多模态注意力相似性模型(Deep Attentional MultimodalSimilarity Model,DAMSM) 虽然能够提高生成图像的真实性，促进生成器更好的学习文本描述中的关键信息，以优化整体图像的质量，但忽略了图像视觉特征和通道特征的表征能力，这样导致生成的图像存在细节缺失的问题。

因此，在文本生成图像的过程中，存在生成图像细节缺失和通道特征信息利用不充分的问题。

发明内容

本申请的主要目的为提供一种文本生成图像方法，旨在解决现有技术中生成图像细节缺失和通道特征信息利用不充分的技术问题。

本申请提出一种文本生成图像方法，包括：

获取多个文本描述语句，并将多个所述文本描述语句输入文本编码器中进行编码，得到多个句子特征与多个单词特征；

获取多个随机采样噪声，并将多个所述随机采样噪声与多个所述句子特征输入初始生成器中以进行融合，得到多个初始图像特征和多个初始图像；

将多个所述初始图像特征与多个所述单词特征输入动态记忆注意模型中并输出多个第一图像特征，其中，所述动态记忆注意模块用于增强多个所述初始图像特征的视觉特征；

将多个所述第一图像特征输入通道注意残差块模型中，并输出多个第一细化图像特征，对多个第一细化图像特征进行卷积，得到多个第一细化图像，其中，所述通道注意残差块模型用于增强所述第一图像特征的通道特征；

将多个第一细化图像特征作为初始图像特征，并与多个所述单词特征输入动态记忆注意模型中，输出多个第二细化图像特征，其中，所述动态记忆注意模块用于增强多个所述第一细化图像特征的视觉特征；

将多个所述第二细化图像特征输入通道注意残差块模型中，并输出多个第三细化图像特征，对多个所述第三细化图像特征进行卷积，得到多个第三细化图像，其中，所述通道注意残差块模型用于增强所述第二细化图像特征的通道特征。

作为优选，所述获取多个随机采样噪声，并将多个所述随机采样噪声与多个所述句子特征输入初始生成器中以进行融合，得到多个初始图像特征和多个初始图像的步骤，包括：