[发明专利]一种基于时序卷积的语音驱动口型的方法和系统

权利要求书

1.一种基于时序卷积的语音驱动口型的方法，其特征在于，包括：采用blendshape来表示嘴部的动作，通过神经网络输出多个blendshape的权重，通过组合这些blendshape的值，得到嘴部动作的合理表示；嘴部动作的合理表示需要进行离散化，离散化的声音信号为时域信号，将时域信号经过傅里叶变换转换到频域中，完成特征转换。

2.根据权利要求1所述的一种基于时序卷积的语音驱动口型的方法，其特征在于，特征转换的方法为：对语音信号进行预加重、加窗后，进行离散傅里叶变换，经梅尔滤波器组后进行对数计算，再进行离散余弦变换，得到MFCC特征。

3.根据权利要求1所述的一种基于时序卷积的语音驱动口型的方法，其特征在于，神经网络采用时序卷积网络，损失采用的是均方误差损失MSE，计算公式如下：

其中，T为一个周期，y_i为真实值，为预测值，通过度量预测值与真实值的欧氏距离来对网络进行约束。

4.一种基于时序卷积的语音驱动口型的系统，其特征在于，包括数据获取模块和音频特征处理模块，其中，所述数据获取模块，采用blendshape来表示嘴部的动作，通过神经网络输出多个blendshape的权重，通过组合这些blendshape的值，得到嘴部动作的合理表示；音频特征处理模块，用于嘴部动作的合理表示离散化，离散化的声音信号为时域信号，将时域信号经过傅里叶变换转换到频域中，完成特征转换。

5.根据权利要求4所述的一种基于时序卷积的语音驱动口型的系统，其特征在于，音频特征处理模块包括预加重单元、加窗单元、离散傅里叶变换单元、梅尔滤波器组、对数计算单元和离散余弦变换单元；预加重单元，用于加重语音信号高频部分的能量；加窗单元，用于对滑窗内的数据进行加权；离散傅里叶变换单元，用于加权后的数据进行离散傅里叶变换；梅尔滤波器组，用于将离散傅里叶变换后的频谱转换到了梅尔刻度上；对数计算单元，用于梅尔刻度与赫兹的相互转换；离散余弦变换单元，用于进行离散傅里叶反变换，得到MFCC特征。