[发明专利]一种跨模态语义生成图像模型和方法

说明书

本发明提供了一种跨模态语义生成图像模型和方法，采用了深度学习领域的生成对抗网络技术，结合自然语言处理领域的Bert模型提取文本描述的特征向量作为图像生成的条件，从而生成符合文本描述的图像，实现了由文本描述产生图像的功能。本发明提出了自适应语义特征融合模块，通过跨模态的方式调整生成图像，将语义特征更好地融合到图像生成的过程中，更加有效地构建文本与图像之间的映射关系，使得生成图像更加贴合语义描述。本发明将对比学习的方法应用到跨模态语义图像生成研究中，提出基于对比学习的损失函数，通过其约束文本特征与图像特征之间的相关性增强最终生成图像与语义的一致性，极大提升了模型性能。

技术领域

本发明属于文本到图像的合成技术领域，具体涉及一种跨模态语义生成图像模型和方法。

背景技术

图像合成是计算机视觉、虚拟现实等领域的基本问题，是图像编辑、平面设计、计算机艺术、电影特效等技术智能化的基础，同时在元宇宙、人机多模态对话等领域有着广泛的应用前景。其中，基于文本生成图像属于跨模态生成任务，其主要挑战在于多模态语义的准确表示和语义空间融合。

发明内容

本发明要解决的技术问题是：提供一种跨模态语义生成图像模型和方法，用于由文本描述产生图像。

本发明为解决上述技术问题所采取的技术方案为：一种基于生成对抗网络的跨模态语义生成图像模型，包括依次连接的文本编码器、生成网络模块和鉴别网络模块；

文本编码器采用预训练的Bert网络模型，用于获取目标图像文本描述的句子向量e^sent和词向量e^word；

生成网络模块包括依次连接的全连接层、连续多个UpBlock块和伪图像生成模块Conv_img；

每个UpBlock块包括残差块ResBlock和上采样层UpSample；

残差块ResBlock包括主干结构和捷径Shortcut；

残差块ResBlock的主干结构包括第一融合模块和第二融合模块；第一融合模块用于进行词级语义的融合；第二融合模块用于进行句子级语义的融合；

第一融合模块和第二融合模块的结构相同，均包括自适应语义图像特征融合模块As-if Module、卷积核为3×3且步长为1的卷积层Conv和激活函数层LeakyRelu，表示为As-if module+Leakyrelu+Conv，用于加强自适应语义图像特征融合模块As-if Module对特征映射的效果；

第一融合模块包括第一单隐层MLP用于从句子向量e^sent中预测语言条件的通道尺度参数γ和移动参数β：

γ＝MLPs(e^sent)，β＝MLPs(e^sent)，

第二融合模块包括第二单隐层MLP用于从词向量e^word中得到参数：

γ′＝MLPs(e^word)，β′＝MLPs(e^word)，

设B、C、H、W分别代表特征向量的批次、通道数、高度、宽度，对前一层输入的特征向量h_i∈R^B×C×H×W先利用通道尺度参数γ进行特征通道尺度变化，然后利用移动参数β进行偏移操作，表示为：

As(h_i|e)＝γ_i·h_i+β_i；

鉴别网络模块包括依次连接的一个FC全连接层和连续多个DownBlock块构成的下采样模块，具有图像编码器的功能。