[发明专利]一种基于特征解耦的跨模态异质人脸识别和原型修复方法

权利要求书

1.一种基于特征解耦的跨模态异质人脸识别和原型修复方法，其特征在于，包括以下步骤：

S1、模型训练集准备：一个训练集包含来自域A和域B的N_d个身份类别；域A中的每张图片x服从P_dataA分布，即x～P_dataA，并标记为而域B中的每张图像y服从P_dataB分布，即y～P_dataB，并标记为或表示x或v的身份标签；或表示x或y是否包含面部变化；根据和的值，在训练集中选取未带有面部变化的域A和域B的图片并分别构建真实的域A和域B的原型库；真实的域A原型库中的每张图片表示为x^rp～P_realA，真实的域B原型库中的每张图片表示为y^rp～P_realB；

S2、模型结构：

S21、生成器G：G由两个编码器即G_encA和G_encB，以及一个解码器即G_dec组成；G_encA对x的原型特征P_x和y的原型特征P_y进行编码；而G_encB对x的域特征V_x和y的域特征V_y进行编码；G_dec接收P_x和V_x的拼接特征、P_x和V_y的拼接特征、P_y和V_x的拼接特征、以及P_y和V_y的拼接特征作为四个输入，然后分别生成四个不同的原型图片，即x在域A的同模态原型x^p、x在域B的跨模态原型y在域A的跨模态原型和y在域B的同模态原型y^p；

S21、判别器D和D包含两个子判别器D^id和D^gan；D^id是一个身份相关的子判别器，用于预测域B中的身份类别；它输出一个N_d维度的向量，其中N_d表示训练集中的身份类别数量；D^gan是一个GAN相关的子判别器，用于区分域B中的真假原型；也是一个多任务判别器，它包含两个子判别器和输出一个Nd维向量，用于域A中的身份预测，而用于对域A中的真假原型进行区分；

S3、模型训练：本模型的训练包含G和D之间以及G和之间两个交替对抗训练阶段，具体过程如下：

S31、阶段1：训练D和G；在这个训练阶段中，G和D被训练相互对抗竞争，以使得G为域A的输入图片x生成跨模态的域B原型以及为域B的输入图片y生成同模态的域B原型y^p；

对于D＝[D^gan，D^id]，它有两个训练目标：1)给定G生成的虚假域B原型和y^p以及真实的域B原型y^rp，D^gan期望将和y^p归类为虚假原型，同时将y^rp归类为真实原型；2)给定域B的输入图片y，D^id期望正确预测其身份标签因此，训练判别器D的最终目标函数V_D为：

其中α₁是平衡超参数；和定义为和其中是D^id中的第i个元素；

对于G，它也有两个训练目标：1)欺骗D^gan使其将和y^p分类为真实的域B原型；2)使D^id将的身份标签预测为与x的身份标签相同即将y^p的身份标签预测为与y的身份标签相同即因此，训练生成器G的最终目标函数V_G为：

其中λ₁是平衡超参数，和各自定义为和

S32、阶段2：训练和G；在这个训练阶段，G和被训练为相互对抗竞争，以使G为域B的输入图片y生成跨模态的域A原型以及为域A的输入图片x生成同模态的域A原型x^p；

对于它有两个类似于D的训练目标：1)给定由G生成的虚假域A原型和x^p以及真实的域A原型x^rp，期望将和x^p分类为虚假原型，同时将x^rp分类为真实原型；2)给定域A的输入图像x，期望准确地预测其身份标签因此，训练判别器的最终目标函数如下：

其中α₂是平衡超参数，和定义为和其中是中的第i个元素；

对于G，它有如下两个训练目标：1)欺骗使其将和x^p都分类为真实的域A原型；2)使将的身份标签预测为与y的身份标签相同即将x^p的身份标签预测为与x的身份标签相同即综合上述两个目标，训练生成器G的最终目标函数可表述为：

其中λ₂是平衡超参数，和各自定义为和