[发明专利]一种基于两分支深度相关网络的人脸图像合成方法和装置

说明书

本发明涉及一种基于两分支深度相关网络的人脸图像合成方法和装置。该方法的步骤包括：将任意角度的人脸图像输入包含几何分支网络和纹理分支网络的两分支深度相关网络；通过几何分支网络和纹理分支网络分别提取图像的几何特征和纹理特征；将提取的图像的几何特征和纹理特征进行融合，得到标准光照下的正面人脸图像。其中纹理分支采用结构化的L1损失进行优化，几何分支用来预测输入的侧面人脸图像的姿态。本发明能够融合几何特征和纹理特征，实现正面人脸图像的重建。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于两分支深度相关网络的人脸图像合成方法和装置。

背景技术

人脸识别是计算机视觉领域中一个重要的研究主题。由于其使用方便、准确性高等特点，它在安防监控、金融服务、手机终端和实体商业等领域得到了广泛应用。最近几年，深度神经网络在人脸识别方面取得了巨大的成功，基于卷积神经网络的人脸识别系统的性能已经显著地超过了基于手工设计特征的人脸识别系统。

角度和纹理变化是影响人脸识别性能的两个主导因素。同时，对于任意视角的人脸图像，生成对应的正面人脸图像被广泛认为是提升人脸识别性能的有效方式。

Zhenyao Zhu等人(ZHU Z，LUO P，WANG X，et al.Deep learning identity-preserving face space[C]//IEEE International Conference on Computer Vision(ICCV).2013：113-120.)提出了一种深度卷积神经网络FIP(Face Identity-Preserving)来将任意角度和光照的人脸图像重建为标准光照下的正面人脸图像。Junho Yim等人(YIMJ，JUNG H，YOO B，et al.Rotating your face using multi-task deep neural network[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2015：676-684.)提出了一种全新的深度学习架构来将任意角度和光照下的人脸图像转换为目标角度的人脸图像。他们首先使用独热码(one-hot vector)对目标姿态进行编码，并且将这个编码补在输入人脸图像的四周，将大小为60×60的人脸图像变成大小为61×61的图像。然后把这个补全的图像送入一个网络来生成目标角度的人脸图像，同时预测输入人脸图像的角度。

尽管基于二维模型的人脸识别方法比较有效率且只需要单幅图像作为输入，它们只利用了人脸的纹理特征来校正人脸。当人脸进行平面外左右旋转时，这些纹理特征并不足以定位图像块的对应性，从而导致人脸成分的不匹配和错误的合成结果。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于两分支深度相关网络的人脸合成方法和装置，能够融合几何和纹理特征用于正面人脸图像的重建。

不同于现有的方法，本发明分别提取输入人脸图像的纹理和几何信息，而不是仅仅提取人脸图像的纹理信息。本发明公开了一种新型的两分支深度相关网络，该网络融合几何和纹理特征用于正面人脸重建，以单幅侧面人脸图像作为网络输入。首先分别通过两个分支来提取它的纹理特征和几何特征，其中纹理分支采用结构化的L1损失进行优化，而几何分支用来预测输入侧面人脸图像的姿态。然后融合纹理信息和几何信息来重建标准光照下的正面人脸图像。

本发明的一种基于两分支深度相关网络的人脸图像合成方法，包括以下步骤：

将任意角度的人脸图像输入包含几何分支网络和纹理分支网络的两分支深度相关网络；

通过几何分支网络和纹理分支网络分别提取图像的几何特征和纹理特征；

将提取的图像的几何特征和纹理特征进行融合，得到标准光照下的正面人脸图像。