[发明专利]一种基于时序卷积的语音驱动口型的方法和系统

说明书

本发明公开了一种基于时序卷积的语音驱动口型的方法和系统，包括：采用blendshape来表示嘴部的动作，通过神经网络输出多个blendshape的权重，通过组合这些blendshape的值，得到嘴部动作的合理表示；嘴部动作的合理表示需要进行离散化，离散化的声音信号为时域信号，将时域信号经过傅里叶变换转换到频域中，完成特征转换。本发明引入了时序卷积，将时序卷积网络用于处理语音频谱特征，较好的解决了时序信息依赖和生成模式单一的问题。

技术领域

本发明属于动画制作技术领域，更具体的说是涉及一种基于时序卷积的语音驱动口型的方法和系统。

背景技术

语音驱动口型一般是基于语言学的模型或基于神经网络的模型实现。

基于语言学的模型的方法是基于音频的特征进行音素的划分，并对每一种音素捏出对应的口型。最终生成的口型是这些提取出来的音素形状的加权平均。基于神经网络的模型的方法不需要针对数据提取特定类型的音素，得益于神经网络的强大的函数拟合能力，可以直接将音频数据映射到嘴型的形状中，这里神经网络的输出可以根据任务设定的不同输出任意值。对于使用神经网络的方案来说，最重要的是选择合理的数据表示以及网络结构，目前较为常见的方案来说，多选用使用mesh的方法来表示面部嘴型的表示，网络结构则使用卷积神经网络或者循环神经网络。卷积神经网络已经在计算机视觉领域证明了它提取特征的强大能力，而语音特征转换为频谱后可以用卷积神经网络来处理，但是我们知道音频信号在时序上有连续的性质，使用卷积网络则会丢失时间维度上的信息。对于循环神经网络来说可以较好的利用以前的时序特征，但因为循环神经网络属于生成网络，容易陷入生成模式单一，输出趋于平均值的问题。

因此，如何提供一种基于时序卷积的语音驱动口型的方法和系统成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于时序卷积的语音驱动口型的方法和系统，引入了时序卷积，将时序卷积网络用于处理语音频谱特征，较好的解决了时序信息依赖和生成模式单一的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于时序卷积的语音驱动口型的方法，包括：采用blendshape来表示嘴部的动作，通过神经网络输出多个blendshape的权重，通过组合这些blendshape的值，得到嘴部动作的合理表示；嘴部动作的合理表示需要进行离散化，离散化的声音信号为时域信号，将时域信号经过傅里叶变换转换到频域中，完成特征转换。

进一步的，特征转换的方法为：对语音信号进行预加重、加窗后，进行离散傅里叶变换，经梅尔滤波器组后进行对数计算，再进行离散余弦变换，得到MFCC特征。

进一步的，神经网络采用时序卷积网络，损失采用的是均方误差损失MSE，计算公式如下：

其中，T为一个周期，y_i为真实值，为预测值，通过度量预测值与真实值的欧氏距离来对网络进行约束。

一种基于时序卷积的语音驱动口型的系统，包括数据获取模块和音频特征处理模块，其中，所述数据获取模块，采用blendshape来表示嘴部的动作，通过神经网络输出多个blendshape的权重，通过组合这些blendshape的值，得到嘴部动作的合理表示；音频特征处理模块，用于嘴部动作的合理表示离散化，离散化的声音信号为时域信号，将时域信号经过傅里叶变换转换到频域中，完成特征转换。

进一步的，音频特征处理模块包括预加重单元、加窗单元、离散傅里叶变换单元、梅尔滤波器组、对数计算单元和离散余弦变换单元；预加重单元，用于加重语音信号高频部分的能量；加窗单元，用于对滑窗内的数据进行加权；离散傅里叶变换单元，用于加权后的数据进行离散傅里叶变换；梅尔滤波器组，用于将离散傅里叶变换后的频谱转换到了梅尔刻度上；对数计算单元，用于梅尔刻度与赫兹的相互转换；离散余弦变换单元，用于进行离散傅里叶反变换，得到MFCC特征。