[发明专利]基于文本生成图像的模型训练方法、设备和图像生成方法

说明书

本申请公开了一种基于文本生成图像的模型训练方法、设备和图像生成方法，其中方法包括基于预设训练样本集合中各训练样本的文本信息，生成文本嵌入式表示，将所述文本嵌入式表示输入至图像生成模型，触发图像生成模型基于该文本嵌入式表示，生成人造图像，并采用模态解纠缠方式，提取人造图像的真实度参数和相应训练样本的真实图像的真实度参数；基于所述人造图像，确定所述训练样本的正例和负例；利用所述图像生成模型，基于每个训练样本的正例、负例和真实图像各自对应的所述真实度参数，计算总体损失函数；利用所述总体损失函数，调整所述图像生成模型的参数。采用本申请可以提高模型学习效率和图像生成效果。

技术领域

本发明涉及人工智能技术，特别是涉及一种基于文本生成图像的模型训练方法、设备和图像生成方法。

背景技术

图像的创作是一项复杂而重要的工作，它需要专业的绘图与美术知识。因此，面对广泛的需求，机器辅助的图像创作已成为近期的热点，希望机器帮助人用更少的专业知识、更简便快捷的方法创作出所需要的图像。对于无绘画经验者而言，通过语言交互来控制机器绘制图像是最简单自然的方法。这样，就需要机器能够理解并利用人类语言中语义信息，以生成相应的图像。为满足该需求，产生了基于文本生成图像的技术。这类技术需要完成两个基本目标：可信度(fidelity)与一致性(consistency)，可信度是指产生的人造图像要与真实图像相似，即看起来逼真；一致性则是指产生的图像能够反映出文本输入信息。

发明人在实现本发明的过程中发现现有基于文本生成图像的方案中存在模型学习效率低、效果差等问题。具体原因分析如下：

由于文本信息无法覆盖图像的所有细节信息，在基于文本生成图像的方案中，对于文本信息中没有限定的图像细节特征，需要随机产生。这样，在基于文本生成图像的场景下，图像信息包括两部分，一部分是模态公共部分与模态特定部分。其中，模态公共部分与文本信息相对应，反映了图像的内容，模态特定部分则是随机产生的，处于不受控制的半随机状态，与图像的内容无关，反映了图像的风格。现有方案在训练图像生成模型时，基于包含模态特定部分的图像特征确定损失函数值。而图文一致性仅与图像的模态公共部分有关，与图像的模态特定部分无关，模态特定部分的存在引入了随机噪声，会干扰模型的学习，从而会导致模型学习效率低、效果差。另外，由于模态特定部分反映了图像风格，该部分不是文本限定的，具有随机性，因此，采用现有基于文本生成图像的方案时，仅能通过改变文本条件来改变所生成图像的内容，而无法有效控制图像的风格，从而导致无法有效控制图像的风格，进而降低了实用性。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于文本生成图像的模型训练方法、设备和图像生成方法，可以提高模型学习效率和图像生成效果。

为了达到上述目的，本发明提出的技术方案为：

一种基于文本生成图像的模型训练方法，包括：

对于预设训练样本集合中的每个训练样本，基于该训练样本的文本信息，生成相应的文本嵌入式表示，并将所述文本嵌入式表示输入至图像生成模型，触发所述图像生成模型基于所述文本嵌入式表示，生成所述文本信息对应的人造图像，并采用模态解纠缠方式，提取所述人造图像的真实度参数和相应训练样本的真实图像的真实度参数；所述真实度参数包括：图像风格的视觉可信度、图-文相似度和图像的整体视觉可信度；

基于所述人造图像，确定每个所述训练样本的正例和负例；

利用所述图像生成模型，基于每个所述训练样本的正例、负例和真实图像各自对应的所述真实度参数，计算相应样本的子损失函数，并基于所述子损失函数，计算相应样本的总体损失函数；所述子损失函数包括内容损失函数、风格损失函数、生成器损失函数和判别器损失函数；所述总体损失函数包括判别器总体损失函数和生成器总体损失函数；

利用所述总体损失函数，调整所述图像生成模型的参数。

基于上述模型训练方法实施例，本发明实施例还公开了一种基于文本生成图像的方法，包括：