[发明专利]唇语合成方法、装置、电子设备及存储介质

权利要求书

1.一种唇语合成方法，其特征在于，包括：

对语音信号进行预加重；

将预加重后的语音信号分为若干语音信号帧，并对每个所述语音信号帧做短时傅里叶变换，得到每个所述语音信号帧的频谱；

在所述语音信号帧的频谱中提取K个MFCC，并根据所述K个MFCC构建所述语音信号帧对应的M维MFCC特征向量，M和K均为正整数，M大于或等于K；

计算所有的M维MFCC特征向量中，同一维度的数据的平均值和方差，对于每一个M维MFCC特征向量，计算该M维MFCC特征向量中的每一维的数据与该维度的平均值的差值，将差值除以该维度的方差，得到该维度的归一化值，实现对所述M维MFCC特征向量进行归一化，使得所述M维MFCC特征向量在每个维度上均服从相同的分布；

利用预先训练好的神经网络将所提取的MFCC特征向量进行处理，得到与每一个MFCC特征向量对应的嘴型标定点数据。

2.根据权利要求1所述的方法，其特征在于，还包括：对与预定语音信号帧的MFCC特征向量对应的嘴型标定点数据进行滤波处理，所述预定语音信号帧为所述若干语音信号帧中除第一个语音信号帧和最后一个语音信号帧之外的其它语音信号帧；具体包括：

利用与第一语音信号帧的MFCC特征向量对应的嘴型标定点数据，以及与第三语音信号帧的MFCC特征向量对应的嘴型标定点数据，对与第二语音信号帧的MFCC特征向量对应的嘴型标定点数据进行滤波，以去除所述与第二语音信号帧的MFCC特征向量对应的嘴型标定点数据中的抖动噪声；

所述第二语音信号帧为任意一预定语音信号帧；所述第一语音信号帧为所述第二语音信号帧的前一语音信号帧，所述第三语音信号帧为所述第二语音信号帧的后一语音信号帧。

3.根据权利要求1所述的方法，其特征在于，所述神经网络包括：

一层卷积层，与所述一层卷积层连接的长短记忆网络，以及与所述长短记忆网络连接的一层全连接层。

4.根据权利要求1所述的方法，其特征在于，所述神经网络通过如下方法训练得到：

在训练数据集中抽取在第一时间区间内同步采集的语音信号及N帧图像；

提取每一帧图像中的嘴型标定点数据；

将提取的语音信号划分为N个语音信号帧，并分别提取每个语音信号帧的MFCC特征向量；

将得到的N个MFCC特征向量输入待训练的神经网络模型，得到每个MFCC特征向量对应的嘴型标定点数据；

利用预置损失函数对所述待训练的神经网络模型输出的嘴型标定点数据，以及从所述N帧图像中提取的嘴型标定点数据进行计算，以判断是否达到预置的收敛条件；

若未达到收敛条件，获取在第二时间区间内同步采集的语音信号及N帧图像，并执行所述提取每一帧图像中的嘴型标定点数据的步骤及后续步骤；所述第二时间区间与所述第一时间区间起始时刻不同，所述第二时间区间与所述第一时间区间的长度相同。

5.根据权利要求4所述的方法，其特征在于，所述提取每一帧图像中的嘴型标定点数据，包括：

采集每一帧图像中嘴型的初始标定点数据；

对各帧图像中采集的初始标定点数据进行对齐处理，得到每一帧图像中的嘴型标定点数据；其中，所有嘴型标定点数据所表征嘴型的大小和位置相同。

6.根据权利要求5所述的方法，其特征在于，所述对各帧图像中采集的初始标定点数据进行对齐处理，包括：

对所述初始标定点数据进行平移，使得所述初始标定点数据的重心平移到原点坐标位置；

纠正所述初始标定点数据的旋转；

确定与闭合嘴型对应的第一类初始标定点数据，并统计各个第一类初始标定点数据中位于嘴型边缘的两个点的距离；

计算所有统计到的距离的平均值；

对所述初始标定点数据对应的嘴型进行缩放，得到嘴型标定点数据；其中，各个嘴型标定点数据中位于嘴型边缘的两个点的距离均相同。