[发明专利]一种生成人脸变化图像模型的训练方法及相关装置

权利要求书

1.一种生成人脸变化图像模型的训练方法，其特征在于，所述生成人脸变化图像模型包括文本编码网络、融合模块以及对抗生成网络，所述方法包括：

获取训练集，所述训练集包括若干组训练数据，所述训练数据包括随机潜码和文本描述，所述随机潜码为用于生成人脸图像的向量，所述文本描述指示人脸变化后得到的人脸特征；

将各文本描述采用所述文本编码网络进行特征编码，以获得各文本特征编码，所述文本特征编码用于反映所述文本描述的语义特征，所述文本编码网络包括顺序遗忘编码模块和第一递归神经网络模块；

将所述各文本特征编码分别与所述各文本特征编码对应的随机潜码输入至所述融合模块进行融合，以获取各融合潜码；

将所述各融合潜码分别输入所述对抗生成网络，以生成各训练变化图，其中，一个所述训练变化图为所述对抗生成网络基于一个所述融合潜码生成的人脸图像，一个所述训练变化图中的人脸属性与一个所述文本描述相匹配；

将所述各训练变化图和所述各训练变化图对应的文本描述作为各样本对，输入预设图像描述网络，以获得所述各训练变化图对应的预测文本描述；其中，所述预设图像描述网络包括特征提取模块和第二递归神经网络模块；

根据预设损失函数，计算各所述文本描述和各所述预测文本描述之间的误差和；

根据所述误差和，反向调节所述文本编码网络和所述预设图像描述网络的模型参数，返回执行所述将各所述文本描述采用所述文本编码网络进行编码，以获得各文本特征编码的步骤，直至所述预设图像描述网络和所述预设文本编码网络均收敛。

2.根据权利要求1所述的训练方法，其特征在于，所述将各文本描述采用所述文本编码网络进行编码，以获得各文本特征编码的步骤，包括：

将各文本描述分别输入所述顺序遗忘编码模块进行编码处理，以获取各文本向量，每个文本向量的长度固定；

将所述各文本向量分别输入所述第一递归神经网络模块进行上下文关联，以获取所述各文本特征编码。

3.根据权利要求1所述的训练方法，其特征在于，所述将所述各文本特征编码分别与所述各文本特征编码对应的随机潜码输入至所述融合模块进行融合，以获取各融合潜码的步骤，包括：

对目标文本特征编码和所述目标文本特征编码对应的随机潜码输入至所述融合模块进行非线性计算，获得所述目标文本特征编码对应的融合潜码，所述目标文本特征编码为任一文本特征编码。

4.根据权利要求1所述的训练方法，其特征在于，所述将所述各训练变化图和所述各训练变化图对应的文本描述作为各样本对，输入预设图像描述网络，以获得所述各训练变化图对应的预测文本描述步骤包括：

将目标样本对中的训练变化图输入所述特征提取模块进行特征提取，获得目标样本对应的特征向量，所述目标样本对为任一样本对；

将所述特征向量和所述目标样本对中的文本描述输入所述第二递归神经网络模块，通过所述第二递归神经网络模型对所述特征向量和所述目标样本对中的文本描述进行解码，输出所述目标样本对中的训练变化图对应的预测文本描述。

5.根据权利要求1所述的训练方法，其特征在于，所述根据预设损失函数，计算各所述文本描述和各所述预测文本描述之间的误差和的步骤，包括：

根据以下公式计算各所述文本描述和各所述预测文本描述之间的误差和；

其中，N为所述样本对的数量，L(θ)为最大概率和，表示L₂正则化项，μ表示权重值，θ^*_i为第i个样本对对应的文本描述和预测文本描述之间的误差；

其中，所述文本描述和所述预测文本描述之间的误差为所述预测文本描述是所述文本描述的最大概率，根据以下公式计算所述文本描述和所述预测文本描述之间的误差；

其中，θ为所述文本编码网络和所述预设图像描述网络的模型参数，I为所述训练变化图，y为所述文本描述，θ^*为在模型参数θ下所述预测文本描述是所述文本描述的最大概率，(y|I；θ)表示待训练的图像描述网络在模型参数θ下，输出的所述训练变化图I的预测文本描述是所述文本描述y的概率。