[发明专利]一种生成人脸变化图像模型的训练方法及相关装置

说明书

本发明实施例涉及机器学习技术领域，公开了一种生成人脸变化图像模型的训练方法及相关装置，生成人脸变化图像模型包括文本编码网络、融合模块以及对抗生成网络，通过预设文本编码网络将文本描述编码成文本特征编码，以控制人脸图像的变化方向。其次，为了约束文本特征编码的准确性，构建预设图像描述网络，输出预测文本描述，然后，根据各预测文本描述和各文本描述，反向调节预设图像描述网络的参数和预设文本编码网络的参数，使得预测文本描述不断靠近文本描述，不断迭代，直至预设图像描述网络和预设文本网络均收敛，获取生成人脸变化图像模型。从而，使得训练得到的人脸变化图像模型能够按用于反映用户意愿的文本描述个性化控制修改人脸特征。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种生成人脸变化图像模型的训练方法及相关装置。

背景技术

随着拍照和短视频的崛起，广大用户对于人脸的拍摄质量有着更高的要求，希望能够个性化控制人脸特征，即在拍摄过程中实现对自己的人脸特征按各自意愿进行修改调整，增加在拍摄过程中的趣味性和互动性。

目前，智能设备在拍摄过程中，仅仅存在一键美颜或增加动画场景等功能，不能实现根据个性化控制人脸特征。

发明内容

本发明实施例主要解决的技术问题是提供一种生成人脸变化图像模型的训练方法及相关装置，使得训练得到的生成人脸变化图像模型能够按用于反映用户意愿的文本描述个性化控制修改人脸特征，生成的变化后的人脸图像符合用户修改意愿。

为解决上述技术问题，第一方面，本发明实施例中提供给了一种生成人脸变化图像模型的训练方法，所述生成人脸变化图像模型包括文本编码网络、融合模块以及对抗生成网络，所述方法包括：

获取训练集，所述训练集包括若干组训练数据，所述训练数据包括随机潜码和文本描述，所述随机潜码为用于生成人脸图像的向量；

将各文本描述采用所述文本编码网络进行特征编码，以获得各文本特征编码，所述文本特征编码用于反映所述文本描述的语义特征；

将所述各文本特征编码分别与所述各文本特征编码对应的随机潜码输入至所述融合模块进行融合，以获取各融合潜码；

将所述各融合潜码分别输入所述对抗生成网络，以生成各训练变化图，其中，一个所述训练变化图为所述对抗生成网络基于一个所述融合潜码生成的人脸图像，一个所述训练变化图中的人脸属性与一个所述文本描述相匹配；

将所述各训练变化图和所述各训练变化图对应的文本描述作为各样本对，输入预设图像描述网络，以获得所述各训练变化图对应的预测文本描述；

根据预设损失函数，计算各所述文本描述和各所述预测文本描述之间的误差和；

根据所述误差和，反向调节所述文本编码网络和所述预设图像描述网络的模型参数，返回执行所述将各所述文本描述采用所述文本编码网络进行编码，以获得各文本特征编码的步骤，直至所述预设图像描述网络和所述预设文本编码网络均收敛。

在一些实施例中，所述文本编码网络包括顺序遗忘编码模块和第一递归神经网络模块，所述将各文本描述采用所述文本编码网络进行编码，以获得各文本特征编码的步骤，包括：

将各文本描述分别输入所述顺序遗忘编码模块进行编码处理，以获取各文本向量，每个文本向量的长度固定；

将所述各文本向量分别输入所述第一递归神经网络模块进行上下文关联，以获取所述各文本特征编码。

在一些实施例中，所述将所述各文本特征编码分别与所述各文本特征编码对应的随机潜码输入至所述融合模块进行融合，以获取各融合潜码的步骤，包括：

对目标文本特征编码和所述目标文本特征编码对应的随机潜码输入至所述融合模块进行非线性计算，获得所述目标文本特征编码对应的融合潜码，所述目标文本特征编码为任一文本特征编码。