[发明专利]基于深度概率图模型的人脸画像合成方法

说明书

本发明公开了一种基于深度概率图模型的人脸画像合成方法。主要解决现有技术无法合成同时具有清晰轮廓和特征的人脸画像的问题。其实现步骤是：1)利用引入马尔可夫随机场的神经网络学习人脸照片‑画像像素非线性关系；2)将测试照片输入到建立的非线性关系中，得到具有测试照片的特定身份信息的画像像素集合；3)将测试照片块和画像像素集合输入到基于贝叶斯理论的深度概率图模型中，得到人脸画像块；4)将人脸画像块进行拼接融合得到合成人脸画像。本发明与现有方法相比，合成的人脸画像在保留人脸的共同结构的同时捕捉到人脸特征，在定量和定性实验评估方面都取得了更好的结果，可用于数字娱乐。

技术领域

本发明属于图像处理技术领域，更进一步涉及一种人脸画像合成方法，可用于数字娱乐。

背景技术

随着科学技术的发展，自拍软件的使用量大幅增加，据统计在过去的12个月中就增加了接近170倍。这些自拍中相当一部分由人脸画像合成技术进行进一步的处理。在人脸画像合成技术的帮助下，用户通过合成具有特定身份信息的生动画像在社交媒体网站里展示自己。与此同时，用户不想给他们的朋友和家人留下怪异的印象，即合成的画像除了能体现个人特色还应该保留男士或者女士的共同结构。因此，在数字娱乐中，人们期望利用特定的身份信息和人脸的共同信息来合成画像。然而，现有的方法无法合成具有特定和共同结构的精致人脸画像。

现有的人脸画像合成方法可以分为两类：基于浅层学习的方法和基于深度学习的方法。基于浅层学习的方法进行人脸画像合成通常假设人脸照片和画像共享一个共同的人脸结构并学习训练照片和测试照片之间的关系，然后应用于画像合成。这类合成方法可以进一步分为三类：基于子空间学习的方法、基于贝叶斯推理的方法和基于稀疏表示的方法。基于深度学习的方法以端到端的方式学习人脸照片和画像之间的映射关系，在并行计算的帮助下，可以通过前向过程合成人脸画像，从而实现快速人脸画像合成。

Song等人在文献“Y.Song,L.Bao,Q.Yang,and M.H.Yang.Real-time exemplar-based face sketch synthesis.In Proc.Eur.Conf.Comput.Vis.,pages 800–813,2014.”中提出替换块从而减少一些合成人脸画像的噪音。虽然这个改进可能有助于缓解严格相似性假设的压力，但它们无法阻止特定身份信息的丢失。

Zhang等人在文献“L.Zhang,L.Lin,X.Wu,S.Ding,and L.Zhang.End-to endphoto-sketch generation via fully convolutional representation learning.arXivPreprint:1508.06576,2017”提出全卷积网络FCN在一定程度上改善合成人脸画像的性能，但合成的画像存在模糊和噪声。原因在于基于FCN的方法仅由大量卷积层堆叠，并且很难直接对异构图像——人脸照片和画像之间的映射关系建立较好的模型，进而合成具有较好人脸轮廓的画像。

发明内容

本发明的目的在于克服上述现有方法的不足，提出一种基于深度概率图模型的人脸画像合成方法，以提高合成人脸画像的质量。

实现本发明目的的技术方案包括如下步骤：

(1)构建人脸照片集合和人脸画像像素集合之间的映射关系：

(1a)根据无向图形式的结构，用训练照片集合X学习画像像素集合Z的条件概率：

其中，Ω为势函数，其由神经函数f_c和相邻函数g_c组成；设α_c和β_c分别是神经函数f_c和相邻函数g_c的参数，设θ_c是神经函数f_c中的权重向量；