[发明专利]动画合成方法、装置、移动终端和电子设备

说明书

本申请公开了动画合成方法、装置、移动终端和电子设备，涉及计算机技术领域，具体涉及语音技术和深度学习等人工智能技术领域。具体实现方案为：获取声音文件；获取声音文件；获取声音文件中的语音识别特征；根据唇动参数获取模型对语音识别特征进行处理，以获取语音唇动参数；以及根据语音唇动参数和人脸模型生成唇动动画。本申请实施例的动画合成方法，通过将语音识别特征作为语音唇动参数提取的输入特征，无需音素时长，且能够做到音色无关，既可提升合成效率，又可减少合成误差。

技术领域

本申请涉及计算机技术领域，具体涉及语音技术和深度学习等人工智能技术领域，尤其涉及一种动画合成方法、装置、移动终端和电子设备。

背景技术

模态合成是TTS(TextToSpeech，从文本到语音)的扩展，目标是合成与合成声音相匹配的动画形象，其中最核心和关键的是合成形象的唇动唇形需要与语音相匹配。

然而，现有的3D唇动合成基本都是基于驱动Blendshape(混合形状)变形器的方案，输入特征多种多样，有的是文本特征，有的是语音的梅尔频谱，并且现有的方案中很多要使用音素时长，并且都不是面向移动端的。

发明内容

本公开提供了一种动画合成方法、装置、移动终端和电子设备。

根据第一方面，提供了一种动画合成方法，包括：

获取声音文件；

获取所述声音文件中的语音识别特征；

根据唇动参数获取模型对所述语音识别特征进行处理，以获取语音唇动参数；以及

根据所述语音唇动参数和人脸模型生成唇动动画。

本申请实施例的动画合成方法，首先获取声音文件，并获取声音文件中的语音识别特征，然后根据唇动参数获取模型对语音识别特征进行处理，以获取语音唇动参数，最后根据语音唇动参数和人脸模型生成唇动动画。由此，通过将语音识别特征作为语音唇动参数提取的输入特征，无需音素时长，且能够做到音色无关，既可提升合成效率，又可减少合成误差。

根据第二方面，提供了一种动画合成装置，包括：

第一获取模块，用于获取声音文件；

第二获取模块，用于获取所述声音文件中的语音识别特征；

第三获取模块，用于根据唇动参数获取模型对所述语音识别特征进行处理，以获取语音唇动参数；以及

生成模块，用于根据所述语音唇动参数和人脸模型生成唇动动画。

本申请实施例的动画合成装置，通过第一获取模块获取声音文件，通过第二获取模块获取声音文件中的语音识别特征，通过第三获取模块根据唇动参数获取模型对语音识别特征进行处理，以获取语音唇动参数；通过生成模块根据语音唇动参数和人脸模型生成唇动动画。由此，通过将语音识别特征作为语音唇动参数提取的输入特征，无需音素时长，且能够做到音色无关，既可提升合成效率，又可减少合成误差。

根据第三方面，提供了一种移动终端，包括上述一方面实施例所述的动画合成装置。

本申请实施例的移动终端，通过上述动画合成装置，将语音识别特征作为语音唇动参数提取的输入特征，无需音素时长，且能够做到音色无关，既可提升合成效率，又可减少合成误差。

根据第四方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的动画合成方法。