[发明专利]模型训练、图像风格化方法、装置、电子设备及存储介质

说明书

本发明实施例提供了模型训练、图像风格化方法、装置、设备及介质。该方法包括：获取第一训练样本集，每组训练样本包括目标对象的原始图像和风格化图像，对原始图像和风格化图像中的目标对象进行相同的运动模拟，得到运动模拟后的原始图像和风格化图像，根据原始图像和对应的运动模拟后的原始图像，生成光流图像，根据训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型，使得利用运动模拟制造出视频中的相邻帧，并引入光流图像，从而模型能在生成风格化图像时，相邻帧的风格化图像之间的运动变化能与相邻帧之间的运动变化保持一致，避免帧间风格化图像存在不可预测的闪动，继而提高风格化视频的稳定性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种模型训练方法、一种图像风格化方法，一种模型训练装置、一种图像风格化装置、一种电子设备及一种存储介质。

背景技术

随着计算机技术的发展，智能终端的使用得到广泛普及，越来越多的应用程序被开发出来用于方便和丰富人们的工作与生活。目前，不少应用程序致力于为智能终端用户提供更加个性化与视觉感受更佳的视觉特效，例如滤镜效果、贴纸效果、形变效果等等。

其中，改变图像风格的特效是一种常见的视觉特效，通过改变图像的色彩、纹理等属性，能够将图像变成另一种风格。

现有的图像风格化的生成模型通常只考虑了图到图的生成问题，而没有考虑到视频中帧间的时序关系，仅是将每个帧单独进行风格化，相邻帧的风格化图像中的形状轮廓可能差异较大。因此，现有的图像风格化的生成模型在视频拍摄方面表现很差，具体表现为拍摄的视频中帧间存在着不可预测的闪动问题。

发明内容

本发明实施例的目的在于提供一种模型训练方法、一种图像风格化方法，一种模型训练装置、一种图像风格化装置、一种电子设备及一种存储介质，从而解决拍摄的视频中帧间存在着不可预测的闪动问题。

为了解决上述问题，在本发明实施的第一方面，首先提供了一种模型训练方法，包括：

获取第一训练样本集，所述第一训练样本集中的每组训练样本包括一个包含目标对象的原始图像和对应的一个风格化图像；

针对各组训练样本，对所述原始图像中的目标对象和对应的风格化图像中的目标对象进行相同的运动模拟，得到一个运动模拟后的原始图像和对应的一个运动模拟后的风格化图像；

根据所述原始图像和对应的运动模拟后的原始图像，生成对应的光流图像；

根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型。

可选地，所述运动模拟包括旋转、平移、随机变形、运动模糊中至少一种。

可选地，所述根据所述训练样本，光流图像以及运动模拟后的风格化图像，训练得到第一风格化图像生成模型包括：

对所述原始图像，风格化图像和光流图像在通道维度上进行图像拼接，得到输入图像；

根据所述输入图像和运动模拟后的风格化图像，组成第二训练样本集，所述第二训练样本集中的每组训练样本包括一个所述输入图像和对应的一个运动模拟后的风格化图像；

根据所述第二训练样本集，训练得到所述第一风格化图像生成模型。

可选地，所述根据所述第二训练样本集，训练得到所述第一风格化图像生成模型包括：

根据图像损失和对抗损失的第一比例，对所述图像损失和对抗损失进行加权求和，得到第一总损失，所述第一比例与1的差值小于第一预设值；

基于所述第一总损失，根据所述第二训练样本集，对所述第一风格化图像生成模型进行训练，直至所述第一总损失收敛；