[发明专利]基于深度学习的多功能图像风格迁移方法

说明书

本发明公开了基于深度学习的多功能图像风格迁移方法包括图像的语义分割；图像的小波特征提取；图像风格迁移的损失函数的表示。图像的特征提取和损失函数的表示。本发明的有益效果一个算法具有艺术风格与逼真风格迁移的图像编辑效果，从而实现质量更高且更加丰富多彩的图像风格迁移效果。

技术领域

本发明属于计算机图像处理技术领域，涉及基于深度学习的多功能图像风格迁移方法。

背景技术

现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格（如果颜色等）迁移到输入图像的技术。图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像。现有图像风格迁移技术，多是对图像进行艺术风格迁移，或是逼真风格迁移，而不能同时实现艺术和逼真的风格迁移。如此限制了其应用范围。因此现有图像风格迁移方法不能满足用户对输入图像进行任意风格迁移的要求。

发明内容

本发明的目的在于提供艺术风格及逼真风格的多功能图像风格编辑方法，本发明的有益效果是根据用户需求，通过修改参数即可实现艺术与逼真风格的图像编辑。本发明基于深度学习的图像风格迁移系统，在进行逼真风格迁移前采用特征提取模块来去除输入图像原风格对最后风格迁移结果的影响，从而实现质量更高且更加丰富多彩的图像风格迁移效果。

本发明所采用的技术方案是包括以下步骤：

步骤1，将图像进行语义分割；

步骤2，对图像进行小波特征提取，如图2所示；

步骤3，设计损失函数，基于深度神经网络对步骤2的图像进行风格迁移编辑；

步骤1具体如下：图像的语义分割方法如下：采用DeepLab语义分割算法进行图像的语义分割。识别150个基础分类，采用合并简化的分类结果即合并了相似的分类，如，湖泊、江河、海洋和水流归为一类等，由此生成一组精简的分类，以产生更清晰，更简单的分割，最终生成更稳定的输出。

步骤2具体如下：

图像的小波分解过程如下

n 和m分别为行下标和列下标；满足小波尺度公式，，，是标准滤波器，是的共轭， c是低频系数， k是小波分解尺度。

图像小波系数处理如下

称序列为的一级二维小波变换，对于1000*1000像素的图像，小波变换尺度为8，当像素更大或更小时，小波变换尺度相应地调大或调小。将小波变换的高频部分（High frequency map, HFM）作为图像特征的初步提取结果，如图2所示。

设小波分解后的系数用 w表示，低频系数用 c表示，高频系数用 d表示，对于输入图像的初步特征提取结果为：

对于部分图像的小波特征提取结果HFM可能会有部分特征丢失，可进行特征修复。即，将原始输入图像作为输入，HFM作为参考风格图像，以及它们的语义分割进行风格迁移，可得到更完整特征的FHFM。

进一步，基于深度神经网络的图像风格迁移算法如下：

一般基于深度神经网络的图像风格迁移的损失函数主要由内容损失函数、风格损失函数和输入正则化三部分组成：

本发明提出的损失函数：