[发明专利]一种基于卷积神经网络的图像风格转移方法

说明书

本发明属于图像处理和计算机视觉领域，具体为一种基于卷积神经网络的图像风格转移方法。基于卷积神级网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。本发明对任何风格图像均能实现风格转移。

技术领域

本发明属于图像处理和计算机视觉领域，涉及深度学习、图像生成等相关技术，具体为一种基于卷积神经网络的图像风格转移方法。

背景技术

日常生活，无论是拍照还是绘画，人们往往希望通过后期编辑使其具有某种特定的风格。然而图像编辑、绘画需要较高的技巧和丰富的经验，普通人不经学习难以实现风格转移的功能。

目前的已有的图像风格转移方法主要是通过非参数算法来实现。这些方法能够有效地将风格图像的颜色、细小边缘等纹理基元结构转移到内容图像中。但是这些方法也只能够提取图像的低级语义特性，实现图像的初级风格转移，对于图像的高级风格特性转移效果较差，生成的图像不自然。这是因为之前的方法所建立的图像风格模型只涉及到图像的低级语义特征。除此之外，之前的方法大多数只适用于对具有明显重复性图像结构的风格图像进行风格转移，对于任意的风格图像不具有普适性。因此，一种简单、高效、适用于任意风格图像的图像风格转移方法就成为了亟待解决的焦点。

发明内容

针对上述存在问题或不足，为解决对任意风格图像都高效地进行风格转移的问题，本发明提供了一种基于卷积神经网络的图像风格转移方法。

本发明采用的技术方案是：

步骤1、选定一个卷积神级网络Φ、一张目标内容图像以及一张目标风格图像选定卷积神经网络Φ中至少一层(标记为i)为内容约束层，选定卷积神经网络Φ中至少一层(标记为j)为风格约束层，设置阈值ε、最高迭代次数th；

步骤2、计算目标内容图像X^C在卷积神经网络Φ内容约束层中的滤波响应为建立目标内容图像在卷积神经网络第i层的内容表示为Φ(X^C)ⁱ；

步骤3、计算目标风格图像X^S在卷积神经网络Φ中风格约束层的滤波响应为建立目标风格图像在卷积神经网络Φ第j层的风格表示为其中

步骤4、选定新图像X^*，初始化为高斯白噪声；

步骤5、采用步骤2和步骤3相同的方法计算新图像X^*在选定的卷积神经网络Φ中内容约束层i的内容表示Φ(X^*)ⁱ和风格约束层j的风格表示

步骤6、计算新图像X^*和目标内容图像X^C在卷积神经网络Φ在内容约束层i的内容特征的损失函数并求解其关于新图像X^*在该层的滤波响应的梯度

步骤7、计算新图像X^*和目标风格图像X^S在卷积神经网络Φ在风格约束层j的风格特征的损失函数，并求解其关于新图像X^*在该层的滤波响应的梯度为

步骤8、将步骤6和步骤7中的梯度在卷积神经网络Φ中进行反向传播到输入层，更新图像X^*；

步骤9、若第t次后更新的图像满足或t≥th，此时收敛的图像X^*是融合了目标内容图像X^C的内容和目标风格图像X^S风格的图像；否则，重复步骤5-8继续迭代更新图像X^*直到收敛。