[发明专利]一种基于解耦表示学习的说话人脸视频生成方法

权利要求书

1.一种基于解耦表示学习的说话人脸视频生成方法，其特征在于，该方法包含如下步骤：

步骤一，通过分类对抗的解耦表示学习方法从说话视频Video中提取说话人物的视频人物身份特征、视频语音特征以及视频情绪特征，实现说话人脸视频关键特征的解耦；

步骤二，通过分类对抗的解耦表示学习方法从说话音频Audio中提取说话人的音频人物身份特征、音频语音特征以及音频情绪特征，实现音频关键特征的解耦；

步骤三，使用对偶学习模型实现音频语音特征和视频语音特征这两个不同隐空间的相互映射，并使用对偶学习模型实现音频情绪特征和视频情绪特征这两个不同隐空间的相互映射；

步骤三的具体实现方式如下，

假设A和V分别为音频语音特征和视频语音特征，其中音频语音特征记为视频语音特征记为则对偶对抗生成模型DualGAN的损失函数结构如下：

假设生成器G将生成生成结果记为则其损失函数：

其中，表示v采样于说话视频中的语音特征D_v为视频语音真假判别器，表示a采样于音频中的语音特征G(a)表示由a生成

假设生成器F将生成则其损失函数：

其中，D_a为音频语音真假判别器，F(v)表示生成器将生成

对偶一致性损失函数

最终DualGAN的损失函数如下：

L(G,F,D_A,D_V)＝L_GAN(G,D_v,A,V)+L_GAN(F,D_a,V,A)+λL_Dual(G,F)

其中，λ表示权重，取值0～0.5；

同理，利用对偶学习模型完成音频情绪特征到视频情绪特征的转换，转换结果记为

步骤四，最后联合视频人物身份特征、映射到该空间的音频语音特征及音频情绪特征，共同生成说话人脸视频。

2.根据权利要求1所述的一种基于解耦表示学习的说话人脸视频生成方法，其特征在于：

所述步骤二分类对抗的解耦表示学习方法，包括3个编码器以及6个分类器，对于输入视频，第一阶段：先固编码器，训练更新分类器对编码器输出的视频人物身份特征进行视频语音及视频情绪分类；然后固定该分类器，训练更新编码器，使其输出的视频人物身份特征无法对视频样本进行视频语音及视频情绪的分类，从而迫使编码器学习出不包含视频语音特征及视频情绪特征的干净视频人物身份特征；第二阶段：先固编码器，训练更新分类器对编码器输出的视频语音特征对视频样本进行人物身份及视频情绪的分类；然后固定该分类器，训练更新编码器，使其输出的视频语音特征无法对视频样本进行人物身份及视频情绪的分类，从而迫使编码器学习出不包含视频人物身份特征及视频情绪特征的干净视频语音特征；第三阶段：先固编码器，训练更新分类器对编码器输出的视频情绪特征进行视频语音及视频人物身份分类；然后固定该分类器，训练更新编码器，使其输出的视频情绪特征无法对视频样本进行视频语音及视频人物身份的分类，从而迫使编码器学习出不包含视频语音特征及视频人物身份特征的干净视频情绪特征。