[发明专利]图像生成方法、装置、设备及存储介质

权利要求书

1.一种图像生成方法，其特征在于，所述方法包括：

获取至少一个图文对，每个图文对中包括具有匹配关系的一张原始图像、所述原始图像对应的编辑文本和固定文本，所述编辑文本用于对所述原始图像进行编辑，所述固定文本用于描述所述原始图像在编辑前后不发生变化的图像内容；

根据所述原始图像和所述固定文本的文本表征得到所述固定文本的调整后文本表征，所述固定文本的调整后文本表征与所述原始图像的内容有关；

根据所述原始图像和所述固定文本的调整后文本表征，对图像生成模型的参数进行调整，得到调整后的图像生成模型；其中，所述调整后的图像生成模型学习了所述固定文本所描述的所述不发生变化的图像内容；

通过所述调整后的图像生成模型根据所述原始图像、所述编辑文本以及所述固定文本的调整后文本表征，生成所述原始图像对应的编辑后图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像和所述固定文本的文本表征得到所述固定文本的调整后文本表征，包括：

通过预训练的表征提取模块提取所述固定文本的文本表征；

通过预训练的扩散模型根据所述原始图像和所述固定文本的文本表征，确定所述原始图像对应的第一预测图像；

根据所述第一预测图像和所述原始图像之间的差异，对所述预训练的表征提取模块的参数进行调整，得到调整后的表征提取模块；

通过所述调整后的表征提取模块提取所述固定文本的调整后表征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一预测图像和所述原始图像的差异，对所述预训练的表征提取模块的参数进行调整，得到调整后的表征提取模块，包括：

根据所述第一预测图像与所述原始图像中至少一个对应位置像素点的像素值之间的差值，确定第一损失函数值，所述第一损失函数值用于表征所述第一预测图像与所述原始图像之间的一致性；

根据所述第一损失函数值对所述预训练的表征提取模块的参数进行调整，得到所述调整后的表征提取模块。

4.根据权利要求1所述的方法，其特征在于，所述图像生成模型包括：旁路模块、预训练的扩散模型以及调整后的表征提取模块；

所述根据所述原始图像和所述固定文本的调整后文本表征，对图像生成模型的参数进行调整，得到调整后的图像生成模型，包括：

通过所述扩散模型和所述旁路模块根据所述原始图像和所述固定文本的调整后文本表征，确定所述原始图像对应的第二预测图像；

根据所述第二预测图像和所述原始图像之间的差异，对所述旁路模块的参数进行调整，得到所述调整后的图像生成模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二预测图像和所述原始图像之间的差异，对所述旁路模块的参数进行调整，得到所述调整后的图像生成模型，包括：

根据所述第二预测图像与所述原始图像中至少一个对应位置像素点的像素值之间的差值，确定第二损失函数值，所述第二损失函数值用于表征所述第二预测图像与所述原始图像之间的一致性；

根据所述第二损失函数值对所述旁路模块的参数进行调整，得到所述调整后的图像生成模型。

6.根据权利要求1所述的方法，其特征在于，所述调整后的图像生成模型包括：预训练的扩散模型和调整后的表征提取模块；

所述通过所述调整后的图像生成模型根据所述原始图像、所述编辑文本以及所述固定文本的调整后文本表征，生成所述原始图像对应的编辑后图像，包括：

通过所述调整后的表征提取模块提取所述编辑文本的文本表征；

根据所述编辑文本的文本表征和所述固定文本的调整后文本表征，得到综合文本表征；

通过所述扩散模型根据所述原始图像和所述综合文本表征，生成所述编辑后图像。