[发明专利]图像处理方法、装置以及存储介质

说明书

本公开提供了一种图像处理方法、装置以及存储介质，涉及计算机技术领域，其中方法包括：构建生成式对抗网络模型，生成器根据样本图像描述文本获得生成图像，生成包含有与样本草图和生成图像的联合图像，根据判别器对于联合图像、样本图像描述文本的判别结果生成目标函数，使用基于目标函数调整后的生成器生成图像。本公开的图像处理方法、装置以及存储介质，样本图像描述文本和样本草图能够互补信息，可以基于样本图像描述文本和样本草图调整模型，通过调整后的模型生成更加精准的图像；提供新的对抗网络模型，提高网络训练的效率、生成的图像的准确度，适用性和鲁棒性较好。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置以及存储介质。

背景技术

生成式对抗网络模型是一种生成模型，包含生成器网络(Generator Network)和判别器网络(Discriminator Network)，生成器网络和判别器网络相互竞争，直至达到平衡。目前的生成式对抗网络模型只能基于草图生成与此草图的图像特征相同的图像，在训练过程中，现有的生成式对抗网络模型学习特征的速度较为缓慢，并且，基于生成式对抗网络模型生成的图像的准确度较差。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种图像处理方法、装置以及存储介质。

根据本公开的一个方面，提供一种图像处理方法，包括：构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；使用调整后的所述生成器基于图像描述文本生成图像并输出。

可选地，获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果；获得用于表征所述生成图像为假的第二判别结果；和，获得用于表征所述生成图像为真的第三判别结果。

可选地，根据所述第一判别结果构建所述生成器的草图损失函数；根据所述第二判别结果构建所述生成器的语义损失函数；基于所述草图损失函数和所述语义损失函数构建生成器目标函数；根据所述第三判别结果构建判别器损失函数；基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。

可选地，所述根据所述第一判别结果构建所述生成器的草图损失函数包括：使用图像掩码对所述联合图像进行过滤处理，获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图；计算所述生成图像简笔图与所述样本草图简笔图之间的距离，其中，所述距离为所述第一判别结果，所述距离包括：KL距离、欧式距离；基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数；

可选地，所述根据所述第二判别结果构建所述生成器的语义损失函数包括：获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为所述第二判别结果；基于所述第一概率信息构建所述语义损失函数。

可选地，所述基于所述草图损失函数和所述语义损失函数构建生成器目标函数包括：确定与所述草图损失函数或所述语义损失函数相对应的加权值；基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。

可选地，所述将样本图像描述文本输入所述生成器包括：使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量；获得与所述样本图像描述文本相对应的随机变量；将所述输入向量和所述随机变量相结合，输入所述生成器。