[发明专利]一种跨模态特征学习和人脸合成的方法

权利要求书

1.一种跨模态特征学习和人脸合成的方法，其特征在于：所述方法的步骤为：

1)学习一个合成函数来建模从其他模态的图像到可见光图像的映射，并在合成的过程中进行身份保留；

2)采用GL-CycleGAN的架构，G_Θg用于合成全局的结构，四个补丁网络G_Θl_i用于局部的细节刻画；

3)从四个人脸关键点中心裁剪位于关键点的贴片网络G_Θl_i，即左眼中心、右眼中心、鼻尖及嘴中心；

4)进行特征图融合，整合来自全局和局部的信息；

5)生成损失，Lsyn作为若干个独立损失函数的线性组合。

2.根据权利要求1所述的跨模态特征学习和人脸合成的方法，其特征在于：所述步骤1)的具体操作为：GL-CycleGAN的生成器包括Go和Gv，分别为合成其他模态的图像的生成器和合成可见光图像的生成器，针对其中某一个生成器来说，全局和局部的两条分支都包括一个编码器和一个解码器，其中和分别表示全局结构生成和局部纹理刻画的过程。

3.根据权利要求1所述的跨模态特征学习和人脸合成的方法，其特征在于：所述步骤3)的具体操作为：通过项目信息嵌入和邻域信息设置得分函数，每个贴片网络学习一组单独的卷积滤波器，用于将中心裁剪的贴片合成其相应的异质贴片，位于关键点的贴片网络的架构也基于编码器-解码器结构。

4.根据权利要求1所述的跨模态特征学习和人脸合成的方法，其特征在于：所述步骤5)的具体操作为：将四个局部网络的多个特征图融合到一个与全局特征张量具有相同空间分辨率的单个特征张量，即将每个特征张量放在“模板界标位置”，然后引入最大化融合策略以减少重叠区域上的拼接伪影；简单地连接每个网络的特征张量以产生融合特征张量，将将其送到连续的卷积层以生成最终的合成输出。