[发明专利]基于深度耦合自编码的人脸画像合成方法

摘要

本发明公开了一种基于深度耦合自编码的人脸画像合成方法。主要解决现有技术在训练数据不足时合成的人脸画像缺失部分特定身份信息的问题。其实现方案是：分别训练人脸照片耦合自编码器、人脸画像耦合自编码器和由耦合自编码器构成的单层神经网络；用单层神经网络找到人脸照片和人脸画像的非线性映射关系；将人脸照片放入训练好的耦合自编码器中生成具有特定信息的隐藏训练照片块；将测试照片候选块集合用训练照片块和权重矩阵线性组合表示；由相似性假设得到人脸画像候选块集合；将人脸画像候选块集合中人脸组成部分融合形成人脸画像。本发明可使合成的人脸画像具有更多特定信息，且更加干净和逼真，可用于数字娱乐中将人物照片转化为人物画像。

主权项

1.一种基于深度耦合自编码的人脸画像合成方法，其特征在于，包括如下：(1)建立人脸照片和画像之间建立非线性映射关系网络：(1a)在人脸照片耦合自编码器中，将人脸照片x_i作为输入，其输出即为重建的人脸照片其中，W'_p、b'_p分别表示人脸照片解码层的权重矩阵和偏差项，为人脸照片x_i的隐藏表示，W_p、b_p分别表示人脸照片编码层的权重矩阵和偏差项；(1b)在人脸画像耦合自编码器中，将人脸画像y_i作为输入,其输出即为重建人脸画像其中，W'_s、b'_s表示人脸画像编码层的权重矩阵和偏差项，为人脸画像y_i的隐藏表示，W_s、b_s分别表示人脸画像解码层的权重矩阵和偏差项；(1c)根据(1a)和(1b)的结果，通过由耦合自编码器构成的单层神经网络在人脸照片和画像之间建立非线性映射关系：其中W_m和b_m分别表示单层神经网络的权重矩阵和偏差项；(2)根据(1)建立最小二乘形式的误差函数，以减少重建误差：其中||·||₂是二范数，l'_is是满足和的人脸照片x_i隐藏表示，是满足和的人脸画像y_i隐藏表示；(3)对人脸照片自编码器和人脸画像自编码器分别初始化：用误差函数中最小初始化人脸照片自编码器，得到初始化参数(W_p,b_p,W'_p,b'_p)，然后基于梯度的方法优化这些参数，得到最佳隐藏表示用误差函数中最小初始化人脸画像自编码器，得到其初始化参数(W_s,b_s,W'_s,b'_s)，然后基于梯度的方法优化这些参数，得到最佳隐藏表示(4)利用本地消息传递中的误差反向传播方法建立以下函数：其中是输入照片x_i对应的重建画像；(5)用(4)建立的函数对参数(W_p,b_p,W_m,b_m,W_s,b_s)进行调整，得到更加优化的非线性映射网络；(6)将测试照片x'放入(1)‑(5)得到的非线性映射网络生成对应的隐藏人脸画像然后将分解成块并组成隐藏人脸画像候选块集合Y_H，并找到相应的隐藏训练照片候选块集合X_H；(7)将测试照片x'分解成块x'^j，其中j表示第j个照片块，x'组成测试照片候选块集合X'，在训练照片中搜索K个与x'^j相似的训练照片候选块集合X_O，并找到相应的K个相似的训练画像候选块集合Y_O；(8)将X_O和X_H串联形成照片字典X＝[X_O,X_H]；(9)根据照片字典X、测试照片候选块集合X'和权重矩阵W的关系：X'＝XW计算W，并将min||W||_*作为最优解并表示为其中||W||_*表示权重矩阵W的核范数；(10)把(8)的结构代到(9)的关系中，得到：X'＝[X_O,X_H]W；(11)将沿行方向划分成如下两部分:其中是对应于X_O的权重矩阵，是对应于X_H的权重矩阵；(12)将人脸照片候选块集合X'由权重矩阵和表示为：(13)根据相似性假设和(12)中人脸照片候选块集合X'的表达式，将人脸画像候选块集合Y'表示为：(14)将人脸画像候选块集合Y'中人脸组成部分进行拼接融合，得到合成的人脸画像。