[发明专利]一种基于两分支深度相关网络的人脸图像合成方法和装置有效
申请号: | 201910870159.1 | 申请日: | 2019-09-16 |
公开(公告)号: | CN110782503B | 公开(公告)日: | 2021-06-15 |
发明(设计)人: | 张婷;张招亮;廖欢;唐文杰 | 申请(专利权)人: | 中国电子进出口有限公司 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06T5/50;G06K9/00 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100036 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分支 深度 相关 网络 图像 合成 方法 装置 | ||
1.一种基于两分支深度相关网络的人脸图像合成方法,其特征在于,包括以下步骤:
将任意角度的人脸图像输入包含几何分支网络和纹理分支网络的两分支深度相关网络;
通过几何分支网络和纹理分支网络分别提取图像的几何特征和纹理特征;
将提取的图像的几何特征和纹理特征进行融合,得到标准光照下的正面人脸图像;
所述两分支深度相关网络包含一相关层,用于融合几何分支网络的最后一个卷积层的特征图和纹理分支网络的最后一个局部连接层的特征图,来重建最终的标准光照下的正面人脸图像;通过融合基于几何特征的表达和基于纹理特征的表达,捕获不同特征之间的相乘的图像块相关性;
分别将几何和纹理特征标记为ψg和ψt,所述相关层将ψg和ψt在一个大小为(2k+1)×(2k+1)的图像块上的相关操作定义如下:
其中,ψc表示融合之后的特征,x1,x2表示ψg和ψt中图像块的中心点,c表示相关运算,o表示以x1或者x2为中心的图像块的范围;
在ψc上应用一个全连接层如下:
Y=f(W1ψc+b1)
其中,Y是全连接层的输出,f(·)是非线性激活函数,W1是权重参数,b1是偏置参数。
2.根据权利要求1所述的方法,其特征在于,所述几何分支网络学习预测输入侧面人脸图像的姿态,包含三个卷积层和一个全连接层;第一个卷积层和第二个卷积层后面连接一个激活函数和一个最大池化层,第三个卷积层连接全连接层,全连接层中每个结点代表输入人脸图像属于某一范围角度的概率。
3.根据权利要求2所述的方法,其特征在于,所述纹理分支网络学习从任意角度的人脸图像合成标准光照下的正面人脸图像,包含三个局部连接层和一个全连接层;第一个局部连接层和第二个局部连接层后面连接一个激活函数和一个最大池化层,第三个局部连接层连接全连接层。
4.根据权利要求3所述的方法,其特征在于,所述几何分支网络和所述纹理分支网络中的激活函数为PReLU激活函数;所述几何分支网络的全连接层含有七个结点;所述纹理分支网络的全连接层含有3600个结点。
5.根据权利要求1所述的方法,其特征在于,所述两分支深度相关网络的总体损失函数定义如下:
L=Lf+γLg+βLt
其中,Lf是合成最终人脸图像的损失函数,Lg和Lt分别代表几何分支和纹理分支的损失,γ和β是用来平衡损失函数的常数系数。
6.根据权利要求5所述的方法,其特征在于,损失函数Lf定义如下:
Lf=|YGT-Y|+α|M⊙YGT-M⊙Y|
其中,YGT和Y分别是真值人脸图像和合成的标准光照下的正面人脸图像,M表示掩膜,α表示用来平衡人脸关键部位像素之间权重的系数,⊙表示哈达玛积。
7.根据权利要求5或6所述的方法,其特征在于,所述两分支深度相关网络的训练过程包括:
利用Lg的监督信息预训练几何分支网络,提取输入的人脸图像的有效的几何信息;
利用Lt的监督信息预训练纹理分支网络,提取输入的人脸图像的有效的纹理信息;
利用L的监督信息微调整个两分支深度相关网络,融合提取的几何信息和纹理信息来合成正面人脸图像。
8.一种采用权利要求1~7中任一权利要求所述方法的基于两分支深度相关网络的人脸图像合成装置,其特征在于,包括:
几何分支网络模块,用于提取输入的任意角度的人脸图像的几何特征;
纹理分支网络模块,用于提取输入的任意角度的人脸图像的纹理特征;
相关层模块,用于将提取的图像的几何特征和纹理特征进行融合,得到标准光照下的正面人脸图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电子进出口有限公司,未经中国电子进出口有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910870159.1/1.html,转载请声明来源钻瓜专利网。