[发明专利]一种模型训练、图像生成方法及设备

说明书

本申请涉及人工智能技术领域，尤其涉及一种模型训练、图像生成方法及设备。模型训练时将图像文本对包括的样本图像输入到输入层，为样本图像增加目标噪声强度的噪声，得到目标噪声图像以及第一特征向量，将第一特征向量和样本文本对应的第一词嵌入向量输入到Transformer编码器，得到第二特征向量并输入到全连接层，得到预测噪声强度，根据该预测噪声强度对目标噪声图像进行降噪，得到生成图像，并根据预测噪声强度和目标噪声强度确定损失值，得到了可以生成图像的目标生成模型，实现了图像的自动生成，提高了模型训练时样本图像获取的效率，进而提高了模型训练的效率。本申请所保护的技术方案具有实时性，可控性特点，符合可信赖特性。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型训练、图像生成方法及设备。

背景技术

对于涉及到图像的模型的训练以及算法的测试效果依赖于大量的样本图像，而实际的样本图像在获取的过程中会消耗大量人力物力，并且效率较低。目前，在对模型进行训练或者对算法进行测试时，通常是在公开图像集中获取一定数量的图像作为样本图像，或者通过实际采集的方式获取样本图像，这些方法难以很好的用于模型训练和算法测试。另外，由于季节、环境的变化，会导致实际采集到的样本图像的实际场景数据匮乏，例如，在夏天无法采集到下雪天场景的图像，最终使得模型的训练以及算法的测试效果只对某一特定的场景效果较好，缺乏泛化性。

因此，如何能够根据需要生成相应的图像成为亟待解决的问题。

发明内容

本申请实施例提供了一种模型训练、图像生成方法及设备，用以解决现有技术中无法根据需要生成相应图像的问题。

第一方面，本申请提供了一种模型训练方法，生成模型包括输入层、Transformer编码器和全连接层，所述方法包括：

获取样本集中的任一图像文本对，所述图像文本对包括样本图像以及对所述样本图像的内容进行描述的样本文本；

将所述样本图像输入到所述输入层，为所述样本图像增加目标噪声强度的噪声，得到目标噪声图像以及所述目标噪声图像的第一特征向量；

将所述第一特征向量和所述样本文本中包括的词对应的第一词嵌入向量输入到所述Transformer编码器，得到第二特征向量，所述第二特征向量是所述Transformer编码器基于所述第一词嵌入向量和注意力机制，对所述第一特征向量进行特征提取得到的；

将所述第二特征向量输入到所述全连接层，得到所述全连接层输出的预测噪声强度；根据所述预测噪声强度对所述目标噪声图像进行降噪处理，得到生成图像，并根据所述预测噪声强度和所述目标噪声强度确定损失值，根据所述损失值对所述生成模型进行训练，得到目标生成模型。

第二方面，本申请实施例还提供了一种图像生成方法，所述方法包括：

接收待生成图像的提示文本；

将所述提示文本输入到目标生成模型中，得到目标生成图像，其中，所述目标生成模型包括输入层、Transformer编码器和全连接层。

第三方面，本申请实施例还提供了一种模型训练装置，生成模型包括输入层、Transformer编码器和全连接层，所述装置包括：

获取模块，用于获取样本集中的任一图像文本对，所述图像文本对包括样本图像以及对所述样本图像的内容进行描述的样本文本；

训练模块，用于将所述样本图像输入到所述输入层，为所述样本图像增加目标噪声强度的噪声，得到目标噪声图像以及所述目标噪声图像的第一特征向量；将所述第一特征向量和所述样本文本中包括的词对应的第一词嵌入向量输入到所述Transformer编码器，得到第二特征向量，所述第二特征向量是所述Transformer编码器基于所述第一词嵌入向量和注意力机制，对所述第一特征向量进行特征提取得到的；将所述第二特征向量输入到所述全连接层，得到所述全连接层输出的预测噪声强度；根据所述预测噪声强度对所述目标噪声图像进行降噪处理，得到生成图像；根据所述预测噪声强度和所述目标噪声强度确定损失值，根据所述损失值对所述生成模型进行训练，得到目标生成模型。