[发明专利]基于文本的虚拟对象动画生成方法及装置、存储介质、终端

说明书

一种基于文本的虚拟对象动画生成方法及装置、存储介质、终端，所述方法包括：获取文本信息，其中，所述文本信息包括待生成虚拟对象动画的原始文本；分析所述文本信息的情感特征；根据所述情感特征、所述韵律边界和所述文本信息进行语音合成，以得到音频信息，其中，所述音频信息包括基于所述原始文本转换得到的带有情感的语音；基于所述文本信息和音频信息生成对应的虚拟对象动画，并且，所述虚拟对象动画与所述音频信息在时间上是同步的。通过本发明方案能够从文本快速且高效的生成带情感语音的虚拟对象动画，通用性高，无需特定配音演员驱动。

技术领域

本发明涉及虚拟数字对象技术领域，具体地涉及一种基于文本的虚拟对象动画生成方法及装置、存储介质、终端。

背景技术

随着虚拟数字对象(可简称为虚拟对象)技术、动画产业等领域的飞速发展，市场对快速自动生成真实、逼真的虚拟形象的需求与日俱增。具体而言，虚拟对象动画的快速生成系统主要体现在如何从文本快速且高效的生成带情感的语音以及对应的虚拟对象动画。

传统系统在制作上述数据时，需要专业的录音师进行配音，并通过美术师进行对应的虚拟对象表情制作和肢体动作制作。需要投入大量的人力成本与时间成本。

并且，这样的制作方式依赖于具有特定声音特征的配音演员，严重制约了该技术的通用性以及对制作成本的进一步降低。美术师需要对演员的动作进行手工修复，耗时较大。

发明内容

本发明解决的技术问题是如何从文本快速且高效的生成带情感语音的虚拟对象动画。

为解决上述技术问题，本发明实施例提供一种基于文本的虚拟对象动画生成方法，包括：获取文本信息，其中，所述文本信息包括待生成虚拟对象动画的原始文本；分析所述文本信息的情感特征和韵律边界；根据所述情感特征、所述韵律边界和所述文本信息进行语音合成，以得到音频信息，其中，所述音频信息包括基于所述原始文本转换得到的带有情感的语音；基于所述文本信息和音频信息生成对应的虚拟对象动画，并且，所述虚拟对象动画与所述音频信息在时间上是同步的。

可选的，所述分析所述文本信息的情感特征和韵律边界包括：对所述文本信息进行分词处理；对于分词得到的每一字词，对所述字词进行情感分析以得到所述字词的情感特征；确定每一字词的韵律边界。

可选的，所述分析所述文本信息的情感特征和韵律边界包括：基于预设文本前端预测模型分析所述文本信息的情感特征，所述预设文本前端预测模型的输入为所述文本信息，所述预设文本前端预测模型的输出为所述文本信息的情感特征、韵律边界和分词。

可选的，所述根据所述情感特征、所述韵律边界和所述文本信息进行语音合成，以得到音频信息包括：将所述文本信息、情感特征和韵律边界输入预设语音合成模型，其中，所述预设语音合成模型用于将输入的文本序列按时序转换成语音序列，且所述语音序列中的语音带有对应时间点上文本的情感；获取所述预设语音合成模型输出的音频信息。

可选的，所述预设语音合成模型是基于训练数据训练得到的，其中，所述训练数据包括文本信息样本以及对应的音频信息样本，所述音频信息样本是根据所述文本信息样本预先录制得到的。

可选的，所述训练数据还包括扩展样本，其中，所述扩展样本是对所述文本信息样本以及对应的音频信息样本进行语音文本切片重组合得到的。

可选的，所述基于所述文本信息和音频信息生成对应的虚拟对象动画包括：接收输入信息，其中，所述输入信息包括所述文本信息和音频信息；将所述输入信息转换为发音单元序列；对所述发音单元序列进行特征分析，得到对应的语言学特征序列；将所述语言学特征序列输入预设时序映射模型，以基于所述语言学特征序列生成对应的虚拟对象动画。

可选的，所述基于所述文本信息和音频信息生成对应的虚拟对象动画包括：将所述文本信息和音频信息输入预设时序映射模型，以生成对应的虚拟对象动画。