[发明专利]基于深度学习风格迁移的服饰图像艺术化生成方法

说明书

本发明公开了一种基于深度学习风格迁移的服饰图像艺术化生成方法，包括如下步骤：步骤1：将内容图和风格图放入训练好的19层VGG网络中得到内容表示和风格表示；步骤2：将获得的内容表示和风格表示使用VGG网络的滤波器对其进行编码得到特征映射，再通过自适应规范层对其进行归一化处理；步骤3：将归一化处理后的噪声图片的特征图分别与内容图片和风格图片的特征图作对比求差值分别计算内容图损失、风格图损失、总损失函数；步骤4：根据获得的总损失函数对网络进行训练，通过转换网络解码生成结果图。本发明一种基于深度学习风格迁移的服饰图像艺术化生成方法，解决了现有服饰图像画面风格单一、转换速度慢的问题。

技术领域

本发明属于图像处理与识别技术领域，具体涉及一种基于深度学习风格迁移的服饰图像艺术生成方法。

背景技术

风格迁移是指将一幅图像的风格转移到另一幅图像上以生成该风格图像的方法。传统上，这个问题主要通过纹理合成和纹理迁移来完成，虽然有一定的效果，但目标图像的质量仍不能满意。

传统的图像迁移算法将随机噪声作为初始输入，通过迭代优化改变像素值以获得目标结果图x'，使这个结果图的特征表达和目标特征表达Φ(x)相似，即像素迭代的目标为Φ(x')≈Φ(x)，由于每个重建结果都要在像素空间经过多次迭代优化，转换速度慢，同时每一个网络受约束只能转换一种风格，近来很多研究都在尝试解决这个问题，但大多数仍然是只能作用于有限的风格集，或者转换速度比单风格算法更慢。

发明内容

本发明的目的是提供一种基于深度学习风格迁移的服饰图像艺术化生成方法，解决了现有服饰图像画面风格单一、转换速度慢的问题。

本发明所采用的技术方案是，基于深度学习风格迁移的服饰图像艺术生成方法，包括如下步骤：

步骤1：将内容图和风格图放入训练好的19层VGG网络中得到内容表示和风格表示；

步骤2：将步骤1获得的内容表示和风格表示使用VGG网络的滤波器对其进行编码得到特征映射，再通过自适应规范层对其进行归一化处理；

步骤3：将步骤2中归一化处理后的噪声图片的特征图分别与内容图片和风格图片的特征图作对比求差值分别计算内容图损失、风格图损失、总损失函数；

步骤4：根据步骤3获得的总损失函数对网络进行训练，通过转换网络解码生成结果图。

本发明的特点还在于：

步骤2的具体过程如下：

步骤2.1：将内容图和风格图放入训练好的VGG网络中，卷积神经网络每层使用滤波器对图像进行编码得到特征映射；

步骤2.2：将步骤2.1得到的特征映射输入到自适应实例规范层进行归一化处理，使得内容特征的均值、方差和风格特征的均值、方差一样，产生目标特征映射，如下公式：

μ为均值，σ为方差，x为内容图，y为风格图；

将归一化后的内容图的输入进行缩放和平移。

步骤3的具体过程如下：

步骤3.1：将内容图片输入VGG网络计算内容损失，内容损失采用平方损失函数是每个像素的损失和：

内容图片在指定层上提取出的特征矩阵，与噪声图片在对应层上的特征矩阵的差值的L2范数：即求两两之间的像素差值的平方，如下公式：

F是噪声图片的特征矩阵，为噪声图片在第l层第i个卷积的第j个位置的特征表示，P是内容图片的特征矩阵，x为要生成的目标图像；

步骤3.2：将风格图片输入网络计算风格损失：利用不同层相应的组合表示建立一个格莱姆矩阵G表示他们的特征关联：