[发明专利]图像处理方法、迁移模型训练方法、装置、介质及设备

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待处理图像、第一目标图像和第二目标图像，其中，所述第一目标图像具有第一图像风格，所述第二目标图像具有第二图像风格，所述第一图像风格包括第一颜色风格和第一形状风格，所述第二图像风格包括第二颜色风格和第二形状风格；

将所述待处理图像、所述第一目标图像和所述第二目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照目标颜色风格和目标形状风格，对所述待处理图像进行风格迁移处理，其中，所述目标颜色风格为所述第一颜色风格，而所述目标形状风格是根据所述第一形状风格和所述第二形状风格确定的，或者，所述目标颜色风格是根据所述第一颜色风格和所述第二颜色风格确定的，而所述目标形状风格为所述第一形状风格；

所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；

其中，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。

2.根据权利要求1所述的方法，其特征在于，所述生成器包括第一编码网络、第二编码网络以及解码网络；

所述图像风格迁移模型按照目标颜色风格和目标形状风格，对所述待处理图像进行风格迁移处理，包括：

所述第一编码网络对所述待处理图像进行编码，得到编码特征图；

所述第二编码网络对所述第一目标图像进行编码，得到与所述第一颜色风格对应的第一颜色特征参数值和与所述第一形状风格对应的第一形状特征参数值；

所述第二编码网络对所述第二目标图像进行编码，得到与所述第二颜色风格对应的第二颜色特征参数值和与所述第二形状风格对应的第二形状特征参数值；

所述解码网络根据所述编码特征图、与所述目标颜色风格对应的目标颜色特征参数值以及与所述目标形状风格对应的目标形状特征参数值，生成目标图像；

其中，所述目标形状特征参数值为所述第一颜色特征参数值，而所述目标形状特征参数值是根据所述第一形状特征参数值和所述第二形状特征参数值确定的；或者，所述目标颜色特征参数值是根据所述第一颜色特征参数值和所述第二颜色特征参数值确定的，而所述目标形状特征参数值为所述第一形状特征参数值。

3.根据权利要求1所述的方法，其特征在于，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；

其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。

4.根据权利要求1或3所述的方法，其特征在于，所述生成器包括第一编码网络、第二编码网络以及解码网络；

所述第一编码网络用于对所述样本图像进行编码，得到第一特征图；

所述第二编码网络用于对所述参考图像进行编码，得到风格特征信息，其中，所述风格特征信息包括参考颜色特征参数值和参考形状特征参数值；

所述解码网络用于根据所述第一特征图和所述风格特征信息，生成所述合成图像。