[发明专利]一种图像风格迁移处理方法、移动终端和云端服务器

说明书

本发明公开了一种图像风格迁移处理方法、移动终端和云端服务器。该方法包括的步骤有风格特征提取、内容特征提取和风格内容融合，主要是通过第一卷积神经网络对第一图像进行风格特征提取，再利用第二卷积神经网络对第二图像的内容特征进行提取，然后进一步对这两个风格特征和内容特征进行融合，获得目标风格图像。该方法还利用最邻近算法对内容特征进行压缩，压缩后的图像内容与图像风格依据不同比例进行交叉融合计算，获取最终的融合图像。以及通过进一步缩小卷积神经网络尺寸的方式，将该方法应用于移动端和云端，具有处理速度快、融合效果好的优势。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像风格迁移处理方法、移动终端和云端服务器。

背景技术

现有技术中对图像风格迁移的处理方法，主要是非参数的图像风格迁移，方法主要基于物理模型的绘制和纹理的合成，不同国内外学者提出的算法有：一种是简单的纹理算法，通过对样本纹理进行拼接和重组以合成新的纹理；一种是基于类推思想的方法，通过图像特征映射关系合成具有新纹理的图像，运用多层纹理阵列、国画光照模型、提取轮廓线等模块，实时绘制3D中国画效果的山峦场景；一种是邻域一致性度量方法，通过把统计特性引入相似性度量中，以提高图像匹配点搜索的效率。

虽然这些方法已经获得了可观的效果，但是非参数的图像风格迁移方法只能提取图像的底层特征，而非高层抽象特征，在处理颜色和纹理较复杂的图像时，最终的图像合成效果较为粗糙，难以符合实际需求。

另外，现有技术中的图像风格迁移的处理方法的速度慢，也不能在云端或移动端进行，不适应当前大数据和云计算的应用发展需求。

发明内容

本发明主要解决的技术问题是提供一种图像风格迁移处理方法、移动终端和云端服务器，解决现有技术中图像风格迁移处理方法对图像风格特征不能提取高层抽象参数、合成图像效果粗糙，以及处理速度慢、不能在移动端灵活使用的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种图像风格迁移处理方法，包括以下步骤：风格特征提取，构建用于提取风格特征的第一卷积神经网络，输入第一图像到第一卷积神经网络进行多次风格特征提取和比对，由此训练优化所述第一卷积神经网络，并得到第一图像对应的风格特征数据；内容特征提取，构建用于提取内容特征的第二卷积神经网络，输入第二图像到第二卷积神经网络，对第二图像的内容特征进行提取，得到第二图像对应的内容特征数据；风格内容融合，将所述风格特征数据和内容特征数据进一步在所述第二卷积神经网络中进行融合，最终输出目标风格图像。

优选的，在所述风格特征提取步骤中，所述第一卷积神经网络是VGG16卷积神经网络。

优选的，当把该第一图像输入到VGG16卷积神经网络后，对应得到每一层卷积网络对应提取的风格特征数据。

优选的，所述第二卷积神经网络包括两个部分：下采样部分和上采样部分，通过下采样部分提取并融合图像特征，使图像具备第一图像的风格和第二图像的内容，再使用上采样部分将融合的特征生成目标风格图像。

优选的，采用最近邻算法对第二图像进行预处理，对第二图像的像素进行缩小化。

优选的，经过预处理的第二图像在第二卷积神经网络与第一图像的风格特征数据的参数和权重，依据设定比例进行计算，预测生成最终的目标风格图像。

优选的，对于第一卷积神经网络和第二卷积神经网络进行训练完以后，对这两个卷积神经网络压缩，缩小两个神经网络的尺寸。