[发明专利]一种基于教师学生网络的语音驱动说话人脸视频生成方法

权利要求书

1.一种基于教师学生网络的语音驱动说话人脸视频生成方法，其特征在于，包括如下步骤：

步骤1，获取大量的说话人脸视频数据集；

步骤2，从步骤1获取的数据集中提取视频帧和语音信号；

步骤3，提取步骤2视频帧中的人脸照片，并将其转换成正脸照片，然后剪裁成N×N尺寸的正脸照片I₁，提取步骤2语音信号的MFCC特征；

步骤4，检测步骤3剪裁好的正脸照片I₁中的人脸特征点；

步骤5，构建并训练教师网络；

步骤5.1，整个网络采取自监督学习的方式，分别对步骤4检测出的人脸特征点l₁、l₂和剪裁好的正脸照片I₁使用三个编码器f₁、f₂、f₃进行编码，生成隐变量z₁、z₂、z₃；

步骤5.2，令z₄＝concat((z₂-z₁),z₃)，用解码器f_D对z₄进行解码，得到表现剪裁好的正脸照片I₁变化的区域范围m和变化区域内像素值的变化信息c，动态特征m和c的计算方式如下：

(m,c)＝f_D(z₄)                 (1)

步骤5.3，利用步骤5.2计算得到的参数m和c，结合剪裁好的正脸照片I₁，得到合成照片I′₁：

I′₁＝m×c+(1-m)×I₁              (2)

步骤5.4，使用W-GAN-gp算法的网络架构对教师网络进行训练；

训练包括生成器训练阶段和判别器训练阶段，生成阶段和判别阶段交替训练直到算法收敛，教师网络训练结束，其中生成器训练阶段，给定预处理好的人脸特征点l₁、l₂和剪裁好的正脸照片I₁，使用步骤5.1-5.3的计算流程，网络通过预测的运动信息m和c生成图片I′₁，并计算生成器的损失函数l_loss：

l_loss＝l_rec+l_reg+l_gen                       (3)

l_rec＝||I₁-I′₁||₁                      (4)

l_reg＝||m||₁                        (5)

l_gen＝-D_I([I′₁,m])                   (6)

式中，l_rec为重建损失，l_reg为稀疏正则化损失，l_gen为对抗损失，D_I(·)表示判别器，|| ||₁表示L₁范数；

判别器训练阶段，使用W-GAN-gp的判别器部分，判别器损失函数计算方式为：

式中，表示求导，D_I(·)表示判别器，|| ||表示L₂范数，λ＝10，l_gp表示Lipschitz惩罚系数，为了解决梯度爆炸；

步骤6，构建并训练学生网络；

步骤6.1，使用步骤3提取到的语音信号的MFCC特征，以视频帧的时间点为中心，加上一个10ms的时间窗提取MFCC信号；

步骤6.2，使用步骤5训练好的教师网络，输入人脸特征点l₁、l₂和剪裁好的正脸照片I₁，得到变化区域m和变化区域内像素值的变化信息c；

步骤6.3，输入步骤6.1切割好的语音信号10ms的MFCC特征a_mfcc和一张剪裁好的正脸照片I₁，分别使用语音编码器f₄和身份信息编码器f₅进行编码，生成隐变量z₅和z₆，然后令z₇＝concat(z₅,z₆)；

步骤6.4，使用解码器预测运动信息(m_s,c_s)，

步骤6.5，利用步骤6.4计算得到的参数m_s和c_s，结合剪裁好的正脸照片I₁，得到合成照片I′_1s：

I_1s′＝m_s×c_s+(1-m_s)×I₁             (9)

步骤6.6，使用W-GAN-gp算法的网络架构对学生网络进行训练；

训练包括生成器训练阶段和判别器训练阶段，生成阶段和判别阶段交替训练直到算法收敛，学生网络训练结束，其中生成器训练阶段，给定MFCC特征a_mfcc和剪裁好的正脸照片I₁，使用步骤6.2-6.5的计算流程，学生网络通过预测的运动信息m_s和c_s生成图片I′_1s，并计算生成器的损失函数l′_loss：

l′_loss＝l′_rec+l′_reg+l′_gen+l_mot            (10)

l′_rec＝||I₁-I_1s′||₁                  (11)

l′_reg＝||m||₁                    (12)

l′_gen＝-D_I([I_1s′,m])                 (13)

l_mot＝||m_s-m||₁+||c_s-c||₁                (14)

式中，l′_rec为重建损失，l′_reg为稀疏正则化损失，l′_gen为对抗损失，l_mot为监督运动信息损失，D_I(·)表示判别器，|| ||₁表示L₁范数；

判别器训练阶段，使用W-GAN-gp的判别器部分，判别器损失函数为：

式中，表示求导，D_I(·)表示判别器，|| ||表示L₂范数，λ＝10，l′_gp表示Lipschitz惩罚系数，为了解决梯度爆炸；

步骤7，级联学生网络训练；

步骤8，将步骤3提取的MFCC特征序列和任意人脸照片I输入到步骤7训练好的级联学生网络中，即可得到对应的图片序列，然后使用ffmpeg将图片序列合成视频。

2.如权利要求1所述的一种基于教师学生网络的语音驱动说话人脸视频生成方法，其特征在于：所述步骤7中级联学生网络训练包括以下几个步骤：

步骤7.1，将步骤3提取的MFCC特征序列{a₁,a₂,...a_n}依次通过步骤6.3中的语音编码器f₄得到语音隐变量序列{a′₁,a′₂,...a′_n}；

步骤7.2，输入人脸身份照片I₁，通过步骤6.3中的身份编码器f₅得到身份隐变量z，通过广播机制将隐变量z与语音隐变量序列{a′₁,a′₂,...a′_n}拼接得到隐变量序列{b₁,b₂,...b_n}；

步骤7.3，为了建模时序序列的时序性，将隐变量序列{b₁,b₂,...b_n}输入LSTM网络得到包含时序信息的隐变量序列{b′₁,b′₂,...b′_n}，然后再将隐变量序列{b′₁,b′₂,...b′_n}中的每一个隐变量分别按照步骤6.4-6.6进行训练，生成图片序列{I_1a,I_2a,...I_na}。