[发明专利]一种基于强化学习的人脸图像编辑方法

权利要求书

1.一种基于强化学习的人脸图像编辑方法，其特征在于，步骤包括：

获取待编辑人脸图像并提取第一面部属性；

将所述待编辑人脸图像并通过编码模块对所述待编辑人脸图像进行映射，得到图像隐变量；

获取预训练的生成器；

将所述图像隐变量输入至所述生成器，生成第一人脸图像；

在所述第一面部属性中选择待编辑属性并将第一人脸图像输入至训练好的图像评估模型，得到评估结果；

将所述待编辑属性和所述评估结果输入至训练好的强化学习模块，生成第二面部属性；

将所述图像隐变量与所述第二面部属性输入连续归一化流模块生成目标人脸图像的隐变量；

将所述目标人脸图像的隐变量输入所述图像生成模块，生成第二人脸图像。

2.根据权利要求1所述的一种基于强化学习的人脸图像编辑方法，其特征在于，将所述第一人脸图像输入至训练好的图像评估模型，得到评估结果，步骤包括：

对所述第一人脸图像进行预处理后输入到主干网络中进行特征提取，得到特征向量；

将所述特征向量输入至通道注意力模块，得到三维向量，在经过激活和自适应平均池化后展开成一维向量；

将所述一维向量输入到回归网络，输出评估结果。

3.根据权利要求1所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述图像评估模型的训练步骤包括：

训练一个分类网络，将训练数据输入到主干网络提取特征，并通过所述分类网络进行分类；所述分类网络训练时，损失值通过交叉熵函数进行参数回传，并保持回归网络的参数不进行回传；

在分类网络基础上对数据进行回归训练，以提取更多的美学特征，此时仅放开回归网络，将主干网络和分类网络的参数冻结。

4.根据权利要求1所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述强化学习模块的训练步骤，具体为：

对面部属性进行初始化，并根据选择的属性生成对应的多组训练图像；

根据预设的强化学习策略对各组所述训练图像分别进行计算，生成新的面部属性，并产生对应新面部属性的新面部图像；

通过所述图像评估模型对新面部图像进行评估，并根据评估结果采用软梯度策略更新梯度进行迭代，直至收敛。

5.根据权利要求4所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述强化学习的策略为：

其中为第t次迭代的状态向量，为第t次迭代的动作向量，r是满足0≤r≤1的贴现因子；为熵，为超参数，控制在目标中的相对重要性；为策略的概率。

6.根据权利要求5所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述软梯度策略计算式为：

其中，是控制探测范围的温度超参数，是策略的值，是依赖于状态的基线；策略中的是一个可微的参数。

7.根据权利要求1所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述强化学习模块包括特征提取单元和门控循环单元；

所述特征提取单元提取所述初始图像中的图像特征，并输入至所述门控循环单元；

所述门控循环单元中的隐藏层末端连接有一层全连接层，通过所述全连接层输出所选属性的值。

8.根据权利要求7所述的一种基于强化学习的人脸图像编辑方法，其特征在于，所述特征提取单元为ResNet18网络。

9.一种神经网络模型，其特征在于，该神经网络模型用于实现权利要求1-8中任一项所述的图像编辑方法，包括：编码器、生成器、图像评估网络和强化学习网络；

所述编码器将待编辑图像转换为隐空间向量后，通过生成器进行图像重建；重建时，生成器根据隐空间向量产生面部属性，并得到重建后的图像；

所述图像评估网络对重建的图像进行评估；

所述强化学习网络根据重建过程中的产生的面部属性进行选择，并根据评估结构进行优化，得到优化后的面部属性，再次输入至所述生成器，生成最终图像。

10.一种基于强化学习的人脸图像编辑系统，其特征在于，包括图像获取模块、图像编辑模块和图像生成模块；

所述图像获取模块用于获取待编辑人脸图像；

所述图像编辑模块用于根据所述待编辑人脸图像选取编辑属性；

所述图像生成模块用于根据所述待编辑人脸图像进行初步评估，并根据所述评估结果对选取的所述编辑属性进行优化，得到优化后的面部属性；用于根据优化后的面部属性生成编辑结果。