[发明专利]图像处理方法、装置及设备

权利要求书

1.一种图像处理方法，包括：

获取第一输入图像和第二输入图像；

利用内容编码器网络提取所述第一输入图像的内容特征；

利用属性编码器网络提取所述第二输入图像的属性特征；

利用特征转换网络对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及

利用解码器网络基于所述目标图像特征生成输出图像；

其中，对内容编码器网络、属性编码器网络、特征转换网络和解码器网络的训练过程包括以下两个阶段：

在预训练阶段，通过最小化图像重建损失函数来对待训练的图像处理系统进行预训练；其中，所述图像重建损失函数为所述待训练的属性编码器网络的训练输入图像与所述待训练的解码器网络的训练输出图像之间的L2距离或L1距离；所述待训练的图像处理系统包括待训练的内容编码器网络、待训练的属性编码器网络、待训练的特征转换网络和待训练的解码器网络；以及

在联合训练阶段，固定经过预训练后的内容编码器网络、属性编码器网络和解码器网络的参数，并基于联合损失函数对由待训练的判别网络和经预训练的图像处理系统构成的生成对抗网络进行联合的对抗训练，以实现对经预训练的图形处理系统中的所述特征转换网络的联合训练；

其中，所述联合的对抗训练采用以下两个步骤交替迭代进行：

固定经预训练的图像处理系统的所有参数，对待训练的判别网络进行训练和参数更新；

固定待训练的判别网络的参数，对经预训练的图像处理系统进行训练并更新经预训练的图像处理系统中的所述特征转换网络的参数。

2.如权利要求1所述的方法，其中，所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。

3.如权利要求2所述的方法，其中，

所述内容编码器网络和所述属性编码器网络为卷积神经网络，所述解码器网络为反卷积神经网络，并且所述特征转换网络为多个全连接层构成的多层感知器。

4.如权利要求2所述的方法，其中，所述联合损失函数包括图像重建损失函数、内容损失函数以及生成对抗损失函数中的至少两项。

5.如权利要求4所述的方法，其中，所述内容损失函数为所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征之间的L2距离或L1距离或余弦相似度。

6.如权利要求5所述的方法，其中，利用内容识别网络来提取所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征。

7.如权利要求4所述的方法，其中，所述生成对抗损失函数为所述待训练的属性编码器的训练输入图像的属性特征和所述待训练的解码器的训练输出图像的属性特征之间的L2距离或L1距离。

8.如权利要求7所述的方法，其中，利用判别网络来提取所述待训练的属性编码器的训练输入图像的属性特征和所述待训练的解码器的训练输出图像的属性特征。