[发明专利]一种保持焦点信息的图像风格化方法

说明书

本发明涉及一种保持焦点信息的图像风格化方法，将“焦点位置差异”作为一个惩罚项加入到传统图像风格化方法中，即将感知损失和焦点损失的和作为总损失，并利用Adam算法调整图像转换网络的权值，得出最优化网络；当将某张图片输入到该最优化网络之后，生成出一张保留原图焦点信息的图像，而且风格融入更自然。本发明不单使生成的风格化图仍保留着原图的主要语义内容，保持了图像的焦点信息，还避免了以往简单纹理叠加的风格转移，效果图更能突出原图主题。

技术领域

本发明涉及图像处理和深度学习的技术领域，尤其涉及到一种保持焦点信息的图像风格化方法。

背景技术

已有基于残差神经网络生成图像，并通过对比生成图像与原图以及风格图在通过VGG网络时得到的特征图，计算出感知损失，再通过反向传播训练残差神经网络，从而令残差神经网络生成符合要求的，具有某种特定风格与内容的图片。为了得到感知损失，需要计算两部分的损失：一部分是比较原图与生成图片在VGG网络中高层次的特征，得到内容损失；另一部分是比较风格图片与生成图片在VGG网络中低层次的特征，得到风格损失。

例如，文献1(Johnson J,Alahi A,Li F F.Perceptual Losses for Real-TimeStyle Transfer and Super-Resolution[M].2016.)中，论述了一种被称为“感知损失”的图像差异计算方法。该方法不直接比较两张图片像素之间的差异，而是比较图片在通过神经网络时生成的特征的差异。利用此方法对图像高维度的风格纹理信息以及形状轮廓信息进行比较，从而计算出感知损失，最终训练出一个能为任意图片添加某种特定风格的神经网络。

例如，文献2(Gatys L A,Ecker A S,Bethge M.A Neural Algorithm ofArtistic Style[J].Computer Science,2015.)中，论述了一种利用梯度下降法，不断修改一张随机初始化各像素的图片，以最小化此图片在通过已训练好的神经网络后得到的损失，最终得到融合了给定的风格和内容的图像。在文献2的梯度下降法中，使用VGG-19作为计算损失用的神经网络，该网络经过修改，在一次前向传播中记录了目标内容图像与风格图像的信息，当以修改后的图像作为网络输入进行一次前向传播之后，便能得到该图像与目标图像之间的差异，计算出损失以及梯度，并修改目标图像。

文献1的方法中，利用感知损失训练得到一个残差神经网络，该网络绑定了一种特定的图像风格。将需要进行风格转换的网络输入到该网络，经过一次前向传播之后，便可得到该图像风格化后的版本。但是，使用这种方法得到的风格化图片，是对图片整体的，无差别、无侧重的风格化，类似于将目标风格图中的纹理信息简单地叠加到待转换图片中。风格化效果较为一般。

文献2的图像风格化过程直接作用于目标图像，在生成一张风格化图像的过程中，一般需要几百次前向与后向传播过程，通过梯度下降法不断修改一张各像素被随机初始化的图像，直至该图像接近预期的要求。这种方法具备与文献1同样的缺点，即风格化是整体的，无差别无侧重的风格化。并且，由于每次生成一个风格化图像都需要经过多次前后向传播，该方法生成风格化图耗时较大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够保持图像焦点信息的风格化方法，使风格化后的图像不丢失原本想表达的信息，有焦点，有侧重。

为实现上述目的，本发明所提供的技术方案为：包括以下步骤：

S1、搭建一个作为图像转换网络的残差神经网络；

该残差神经网络具有12层，其中包括5个残差神经网络块(residual blocks)，每个残差神经网络块包含两层卷积核为3×3大小的卷积层。其具有较强的表达能力，能够记录下目标风格图像的信息。每次训练时只指定一种风格，再将大量不同内容的图像输入到网络，得到风格化后的图像，从而将该图像转换网络训练为记录了目标风格的，能够将任意内容图像进行风格化的网络。