[发明专利]一种将语音转换成唇形的方法、系统、装置和存储介质

权利要求书

1.一种将语音转换成唇形的方法，其特征在于，包括以下步骤：

获取语音序列；

利用训练好的生成对抗网络模型接收所述语音序列并进行处理；

获取所述训练好的生成对抗网络模型输出的唇形图像；

所述生成对抗网络模型包括生成网络和判别网络；所述生成网络包括多个子网络，其中包括第一子网络和第二子网络；

所述第一子网络用于接收所述语音序列，并通过卷积网络提取得到语音特征向量；

所述第二子网络用于将所述语音特征向量转化为第一矩阵，并通过encoder卷积网络学习语音特征与唇形关键点特征之间的联系，获得压缩关系矩阵，再通过decoder卷积网络解码所述压缩关系矩阵，还原得到第一矩阵，最后根据学习到的所述语音特征与唇形关键点特征之间的联系，通过卷积网络层预测出相应的唇形关键点；

所述判别网络包括多个卷积网络层，所述判别网络用于将所述生成网络预测出的多组唇形关键点转换成唇形运动增量矩阵，并通过多个卷积网络层提取所述唇形运动增量矩阵的特征，从而输出相应的唇形运动序列，并判别所述唇形运动序列的真实度。

2.根据权利要求1所述的一种将语音转换成唇形的方法，其特征在于，还包括对生成对抗

网络模型进行训练，包括：

构建训练集；所述训练集由语音样本和唇形关键点样本组成；

获取所述训练集以对生成对抗网络模型进行训练。

3.根据权利要求2所述的一种将语音转换成唇形的方法，其特征在于，所述构建训练集这

一步骤，包括：

拍摄讲话人进行讲话的视频；

从所述视频中分离出语音和图像流；

对所述语音进行重采样，从而获得所述语音样本；

从所述图像流中分离出图像，并对所述图像进行人脸关键点检测，从而获得所述唇形关键点样本。

4.根据权利要求3所述的一种将语音转换成唇形的方法，其特征在于，还包括对构建的训

练集进行预处理，包括：

对所述语音样本进行分帧处理；

对分帧所得的每一帧进行短时傅里叶变换，从而将所述语音转换为语音频谱图；

使用梅尔滤波器组对每一帧对应的功率谱进行滤波；

将唇形关键点样本中的每个唇形关键点的坐标减去唇形中心点的坐标，以保持平移不变性；

对每一组唇形关键点进行标准化。

5.根据权利要求1所述的一种将语音转换成唇形的方法，其特征在于，还包括对所述生成

网络预测出的唇形关键点进行去标准化处理，并将根据处理后的唇形关键点输出相应的唇形图像。

6.一种将语音转换成唇形的系统，其特征在于，包括测试模块和训练模块；

所述测试模块用于：

获取语音序列；

利用训练好的生成对抗网络模型接收所述语音序列并进行处理；

获取所述训练好的生成对抗网络模型输出的唇形图像；

所述训练模块用于：

构建训练集；所述训练集由语音样本和唇形关键点样本组成；

获取所述训练集以对生成对抗网络模型进行训练；

所述生成对抗网络模型包括生成网络和判别网络；所述生成网络包括多个子网络，其中包括第一子网络和第二子网络；

所述第一子网络用于接收所述语音序列，并通过卷积网络提取得到语音特征向量；

所述第二子网络用于将所述语音特征向量转化为第一矩阵，并通过encoder卷积网络学习语音特征与唇形关键点特征之间的联系，获得压缩关系矩阵，再通过decoder卷积网络解码所述压缩关系矩阵，还原得到第一矩阵，最后根据学习到的所述语音特征与唇形关键点特征之间的联系，通过卷积网络层预测出相应的唇形关键点；

所述判别网络包括多个卷积网络层，所述判别网络用于将所述生成网络预测出的多组唇形关键点转换成唇形运动增量矩阵，并通过多个卷积网络层提取所述唇形运动增量矩阵的特征，从而输出相应的唇形运动序列，并判别所述唇形运动序列的真实度。