[发明专利]图像处理方法和装置

说明书

一种图像处理方法和图像处理装置。该图像处理方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层。该图像处理方法可以用于例如图像的风格迁移处理。

技术领域

本发明的实施例涉及一种图像处理方法和装置。

背景技术

当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(Convolutional NeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。

发明内容

本发明的至少一个实施例提供了一种图像处理方法，该方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。

例如，在至少一个实施例的图像处理方法中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。

例如，在至少一个实施例的图像处理方法中，所述复合层每个获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。

例如，根据至少一个实施例的图像处理方法，还包括使用第三卷积神经网络提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等，并且所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。

例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中至少之一，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。

例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中每个，都选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。

例如，在至少一个实施例的图像处理方法中，所述第一卷积特征是内容特征，所述第三卷积特征是风格特征；或者，所述第一卷积特征是风格特征，所述第三卷积特征是内容特征。

例如，在至少一个实施例的图像处理方法中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。