[发明专利]基于文本生成图像的模型训练方法、设备和图像生成方法

权利要求书

1.一种基于文本生成图像的模型训练方法，其特征在于，包括：

对于预设训练样本集合中的每个训练样本，基于该训练样本的文本信息，生成相应的文本嵌入式表示，并将所述文本嵌入式表示输入至图像生成模型，触发所述图像生成模型基于所述文本嵌入式表示，生成所述文本信息对应的人造图像，并采用模态解纠缠方式，提取所述人造图像的真实度参数和相应训练样本的真实图像的真实度参数；所述真实度参数包括：图像风格的视觉可信度、图-文相似度和图像的整体视觉可信度；

基于所述人造图像，确定所述训练样本的正例和负例；

利用所述图像生成模型，基于所述训练样本的正例、负例和真实图像各自对应的所述真实度参数，计算相应样本的子损失函数，并基于所述子损失函数，计算相应样本的总体损失函数；所述子损失函数包括内容损失函数、风格损失函数、生成器损失函数和判别器损失函数；所述总体损失函数包括判别器总体损失函数和生成器总体损失函数；

利用所述总体损失函数，调整所述图像生成模型的参数；

其中，所述采用模态解纠缠方式，提取所述人造图像的真实度参数和相应训练样本的真实图像的真实度参数包括：

利用所述图像生成模型的图像编码器，从所述人造图像中提取出模态公共表征和模态特定表征，以及从所述训练样本的真实图像中提取出模态公共表征和模态特定表征；

基于所述人造图像的模态公共表征和模态特定表征、所述真实图像的模态公共表征和模态特定表征，利用所述图像生成模型的判别器，提取所述人造图像和所述真实图像的真实度参数。

2.根据权利要求1所述的方法，其特征在于，所述生成所述文本信息对应的人造图像包括：

将所述文本嵌入式表示，输入至图像生成模型的文本编码器处理，得到所述文本信息的文本特征；

将所述文本特征和训练样本对应的预设噪声样本，输入至所述图像生成模型的生成器处理，得到所述文本信息对应的人造图像。

3.根据权利要求1所述的方法，其特征在于，所述真实度参数的提取包括：

按照提取所述人造图像的图像风格的视觉可信度；其中，h_ss为所述人造图像的模态特定表征；D^s为所述图像生成模型的模态特定判别器；表示所述人造图像的图像风格的视觉可信度；

按照s_s(x)＝D^s(h_is)，提取所述真实图像的图像风格的视觉可信度；其中，h_is为所述真实图像的模态特定表征；s_s(x)表示所述真实图像的图像风格的视觉可信度；

按照提取所述人造图像的图-文相似度；其中，h_tc为所述文本信息的文本特征；h_sc为所述人造图像的模态公共表征；D^c为所述图像生成模型的模态公共判别器；表示所述人造图像的图-文相似度；

按照s_c(x)＝D^c(h_tc，h_ic)，提取所述真实图像的图-文相似度；其中，h_ic为所述真实图像的模态公共表征；s_c(x)表示所述真实图像的图-文相似度；

按照提取所述人造图像的整体视觉可信度；其中，Dⁱ为所述图像生成模型的整体视觉判别器；表示所述人造图像的整体视觉可信度；

按照s_i(x)＝Dⁱ(h_ic，h_is)，提取所述真实图像的整体视觉可信度；其中，s_i(x)表示所述真实图像的整体视觉可信度。

4.根据权利要求1所述的方法，其特征在于，所述确定每个所述训练样本的正例和负例包括：

对于每个所述训练样本，将该训练样本对应的所述人造图像作为该训练样本的正例，从基于非该训练样本对应的所述人造图像中，选择一个图像作为该训练样本的负例。