[发明专利]一种基于稀疏视图的语音驱动人脸合成方法

权利要求书

1.一种基于稀疏视图的语音驱动人脸合成方法，其特征在于，包括如下步骤：

S1：从输入的人脸视频中选取帧作为参考图像，使用特征编码网络从参考图像中提取特征体；

S2：构建语音映射网络，将输入的语音信号映射为3DMM参数；

S3：将所述3DMM参数通过语义映射网络，得到高维运动描述符；

S4：构建变形网络，在运动描述符的引导下对所述特征体进行变形；

S5：构建脸部辐射场，将查询点的五维坐标与变形后的像素对齐的特征向量、运动描述符进行拼接，输入到多层感知机中对体积属性进行预测，经过体渲染得到目标图像。

2.如权利要求1所述的语音驱动人脸合成方法，其特征在于，选取的参考图像帧数为4帧，在每次迭代过程中随机选取。

3.如权利要求1或2所述的语音驱动人脸合成方法，其特征在于，步骤S1中，使用残差神经网络作为所述特征编码网络，进而将每张参考图像的图像信息编码成特征体；通过将特征信息作为神经辐射场的先验条件，进而估计出在稀疏帧输入下的未知视角信息。

4.如权利要求1至3任一项所述的语音驱动人脸合成方法，其特征在于，步骤S2中，所述语音映射网络为长短期记忆网络(LSTM)，所述3DMM参数为表情系数以及姿态参数；所述构建语音映射网络，将输入的语音信号映射为3DMM参数，具体通过下式：

其中，a_t表示从输入语音信号中提取到的第t帧的MFCC特征，E(a_t)表示对MFCC特征进行编码，L表示长短期记忆网络，h_t-1以及c_t-1分别表示在t-1时刻的单元格状态和隐藏状态；以及分别表示经过长短期记忆网络预测出的第t帧的表情系数以及面部姿态参数。

5.如权利要求4所述的语音驱动人脸合成方法，其特征在于，所述长短期记忆网络采取窗口机制，固定窗口长度为T，每次迭代输入相邻T帧的MFCC特征序列a，具体为：

a＝{a₁,a₂,...,a_T}

其中，长短期记忆网络的约束损失L_l由均方差损失L_β,P以及帧间连续性损失L_c两部分组成：

L_l＝L_β,P+L_c

其中，均方差损失L_β,P的表达式为：

其中，β和P分别表示由面部捕捉模型估测到的表情系数以及姿态参数基准值，以及分别表示由长短期记忆网络预测到的表情系数以及姿态参数序列；λ₁为权重参数；

帧间连续性损失L_c的表达式为：

其中，λ₂和λ₃为权重参数，T表示长短期记忆网络的窗口长度；以及分别表示t+1时刻的表情系数以及姿态参数预测值；以及分别表示t时刻的表情系数以及姿态参数预测值。

6.如权利要求1至5任一项所述的语音驱动人脸合成方法，其特征在于，步骤S3中，将所述3DMM参数通过语义映射网络，得到高维运动描述符，具体通过下式：

其中，M表示语音映射网络，其结构为多层感知机(MLP)；α表示经过面部捕捉模型估计的人脸身份参数；以及分别表示经过长短期记忆网络预测到的表情系数以及姿态参数；表示拼接操作。