[发明专利]基于神经网络的图像处理方法、图像处理装置

说明书

一种基于神经网络的图像处理方法、图像处理装置。图像处理方法包括：获取风格图像和内容图像；基于风格图像，利用生成神经网络对内容图像进行风格迁移处理，以生成输出图像。生成神经网络包括特征提取子网络、融合器和解码子网络，解码子网络被配置为接收并处理多个输出特征图，以生成输出图像，解码子网络包括多个稠密计算模块，多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，N个卷积模块中的第i个卷积模块被配置为接收并处理第i个卷积模块之前的i‑1个卷积模块输出的i‑1个特征图组，以得到第i个特征图组，第M个稠密计算模块的输出包括N个卷积模块输出的N个特征图组，i、N、M均为整数。

技术领域

本公开的实施例涉及一种基于神经网络的图像处理方法、图像处理装置。

背景技术

当前，基于人工神经网络的深度学习技术已经在诸如物体分类、文本处理、推荐引擎、图像搜索、面部识别、年龄和语音识别、人机对话以及情感计算等领域取得了巨大进展。随着人工神经网络结构的加深和算法的提升，深度学习技术在类人类数据感知领域取得了突破性的进展，深度学习技术可以用于描述图像内容、识别图像中的复杂环境下的物体以及在嘈杂环境中进行语音识别等。同时，深度学习技术还可以解决图像生成和融合的问题。

发明内容

本公开至少一实施例提供一种基于神经网络的图像处理方法，包括：获取风格图像和内容图像；基于所述风格图像，利用生成神经网络对所述内容图像进行风格迁移处理，以生成输出图像。所述生成神经网络包括特征提取子网络、融合器和解码子网络，所述特征提取子网络被配置为提取所述风格图像的风格特征以生成多个风格特征图和提取所述内容图像的内容特征以生成多个内容特征图，所述融合器被配置为基于所述多个风格特征图对所述多个内容特征图执行风格转移处理，以得到多个输出特征图，所述解码子网络被配置为接收并处理所述多个输出特征图，以生成所述输出图像，所述解码子网络包括多个稠密计算模块，所述多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，所述N个卷积模块中的第i个卷积模块被配置为接收并处理所述第i个卷积模块之前的i-1个卷积模块输出的i-1个特征图组，以得到第i个特征图组，所述第M个稠密计算模块的输出包括所述N个卷积模块输出的N个特征图组，i、N、M均为整数，M大于等于1且小于等于所述多个稠密计算模块的数量，N大于等于2，且i大于等于2且小于等于N。

例如，在本公开一实施例提供的图像处理方法中，每个所述卷积模块包括卷积层和激活层。

例如，在本公开一实施例提供的图像处理方法中，所述解码子网络还包括多个反池化模块，每个所述反池化模块包括卷积层、激活层和反池化层，所述反池化层用于执行上采样操作。

例如，在本公开一实施例提供的图像处理方法中，所述特征提取子网络包括多个池化模块，所述多个池化模块与所述多个反池化模块一一对应。

例如，在本公开一实施例提供的图像处理方法中，所述解码子网络还包括输出层，所述多个稠密计算模块包括第一稠密计算模块、第二稠密计算模块和第三稠密计算模块，所述多个反池化模块包括第一反池化模块、第二反池化模块和第三反池化模块，根据所述多个输出特征图利用所述解码子网络重构并输出所述输出图像，包括：利用所述第一反池化模块处理所述多个输出特征图以得到多个第一反池化特征图；利用所述第一稠密计算模块提取所述多个第一反池化特征图的特征以得到多个第一中间解码特征图；利用所述第二反池化模块处理所述第一中间解码特征图以得到多个第二反池化特征图；利用所述第二稠密计算模块提取所述第二反池化特征图的特征以得到多个第二中间解码特征图；利用所述第三反池化模块处理所述多个第二中间解码特征图以得到多个第三反池化特征图；利用所述第三稠密计算模块提取所述第三反池化特征图的特征以得到多个第三中间解码特征图；利用所述输出层将所述多个第三中间解码特征图从特征空间转换到图像空间，以得到所述输出图像。