[发明专利]一种基于强化学习的人脸属性编辑方法

说明书

本发明公开了一种基于强化学习的人脸属性编辑方法，包括如下步骤：在预训练的生成器模型空间中获取人脸的中间潜在向量表示并将其作为强化学习的初始状态；将获取的初始状态输入Actor网络计算得到一个确定的动作值作为编辑属性的方向向量；对得到的动作值添加随训练过程逐渐减小的高斯噪声作为最终与环境交互的动作；执行采取的动作进行交互获得下一状态值；将前后两次状态值输入生成器模型转换为人脸图像；利用人脸属性评价器得到两张人脸的属性差异并计算环境奖励；利用奖励信号通过神经网络的梯度反向传播分别更新Actor和Critic网络的参数。本发明能够减少训练所需要多标签数据集，同时提供很好的属性解耦，最大化的保持原有人脸的身份特质。

技术领域

本发明涉及计算机视觉技术领域，尤其是一种基于强化学习的人脸属性编辑方法。

背景技术

现实中人脸属性编辑多用于移动端相关人脸娱乐应用中，如查看自己老年之后的样貌，改变发型等。在深度学习的发展过程中，面部衰老和面部妆容已经成为独立于人脸属性编辑的新分支，除了娱乐应用外，在案件侦破和人脸伪造方面也有着很广泛的应用前景。人脸属性编辑的难点在于两个方面：其一，在编辑某一属性时保持其他属性不变；其二，虽然目前有很多种方法可以对人脸属性进行编辑，但仍存在着挑战。

目前主流的人脸属性编辑方法大致分为两种：基于模型的方法和基于附加条件的方法，二者的主要区别在于是否需要给出额外的条件。总体上来看，两种方法都基于编码器—解码器体系，但是基于模型的方法在一次训练过程中仅能对一个属性进行编辑，例如CycleGAN，因而效率比较低；相比之下，基于附加条件的方法则比较灵活，可以通过给出的附加条件来同时控制多个属性。其一般思路都是是先通过编码器来构建一个用以表示人脸的潜在空间，该潜在空间与人脸的属性空间之间存在某种联系，通过寻找二者的对应关系，可以对相关属性进行修改，最后将修改后的潜码输入到解码器中就可以得到属性修改后的人脸图像。

基于上述思路，如何构建基于属性的人脸表示空间既是实现人脸属性编辑主要问题，同时也是一个难点。基于附加条件的人脸属性编辑方法将人脸图像的潜在向量表示与给出的条件向量连接在一起，用以表示结构化的人脸属性信息。相比于直接在难以理解的潜在向量中进行属性编辑，这种方法在直观上比较容易被理解，但却造成了属性上的不连续。因此，如何在连续的潜在空间中求解出通用的属性表示向量是一个具有挑战性的待解决问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于强化学习的人脸属性编辑方法，能够减少训练所需要多标签数据集，同时提供很好的属性解耦，最大化的保持原有人脸的身份特质。

为解决上述技术问题，本发明提供一种基于强化学习的人脸属性编辑方法，包括如下步骤：

(1)随机初始化智能体和环境并清空经验回放集合；

(2)在经过预训练的生成器模型的潜在空间中获取所需训练人脸的向量表示，并将其作为环境的初始状态；

(3)将步骤(2)中获取的初始状态传入Actor当前网络，经过Actor当前网络的计算得到一个确定的状态动作值，该状态动作值即是要训练的属性方向向量；

(4)执行步骤(3)中得到的状态动作值，进入下一状态，记录该状态是否为终止状态，并得到执行动作的奖励；

(5)将步骤(2)(3)(4)中的前一状态、执行动作、奖励、下一状态、是否为终止状态作为五元组存入经验回放集合；

(6)从经验回放集合中采样一个批次的样本计算当前目标Q值；

(7)使用均方差损失函数通过神经网络的梯度反向传播依次更新Critic当前网络和Actor当前网络的参数；

(8)按照更新频率利用当前网络的参数更新目标网络的参数。

优选的，步骤(2)中，人脸向量表示作为初始状态的具体步骤如下：