[发明专利]动画生成方法和装置

权利要求书

1.一种动画生成方法，包括：

响应于接收到输入文本，获取输入文本的动画标签，并得到所述输入文本中的词和动作之间的对应关系；

生成与所述输入文本对应的语音；

将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和所生成的语音合并，生成所述人物形象的动画。

2.根据权利要求1所述的动画生成方法，其中，所述生成与所述输入文本对应的语音包括：

解析所述输入文本生成音素序列；

基于所生成的音素序列，合成得到与所述输入文本对应的语音。

3.根据权利要求2所述的动画生成方法，所述生成与所述输入文本对应的语音还包括：

确定与所述音素序列对应的口型系数序列；

所述基于所得到的对应关系和语音，对预设的人物形象进行渲染，生成所述人物形象的动画进一步包括：

将基于所得到的对应关系和口型系数序列对预设的人物形象的模型进行渲染生成的视频，以及所生成的语音合并，生成所述人物形象的动画。

4.根据权利要求1-3之一所述的动画生成方法，所述响应于接收到输入文本，获取输入文本的动画标签，并得到所述输入文本中的词和动作之间的对应关系包括：

将所述输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系；

基于所述输入文本中的词和动画标签之间的对应关系，生成动作系数序列，并将所述动作系数序列作为所述输入文本中的词和动作之间的对应关系。

5.根据权利要求4所述的方法，其中，所述动画标签包括表情标签和动作标签，所述动画标签获取模型包括情感预测子模型和动作预测子模型，所述将所述输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系包括：

将所述输入文本输入至预先训练的情感预测子模型，得到所述输入文本所包含的词和词的情感倾向的对应关系；

基于所述所述输入文本所包含的词和词的情感倾向的对应关系确定输入文本所包含的词和预设表情标签之间的对应关系；

将所述输入文本所包含的词和词的预设表情标签之间的对应关系，输入动作预测子模型，以得到动作系数序列，其中，所述动作系数序列用于指示所述输入文本所包含的词和词的动作标签之间的对应关系。

6.根据权利要求5所述的方法，其中，所述动作标签所指示的动作包括四肢动作、躯干动作和头部动作中的至少一者。

7.根据权利要求3所述的方法，其中，所述生成与所述输入文本对应的语音进一步包括：

将所述输入文本输入预先建立的语音口型生成模型，得到与所述输入文本对应的语音和口型系数序列。

8.根据权利要求7所述的方法，其中，所述预先建立的语音口型生成模型通过如下方式训练得到：

建立序列到序列模型作为初始语音口型生成模型；

将训练样本输入所述初始语音口型生成模型，得到所述初始语音口型生成模型的输出，其中，所述训练样本包括声音语料和对所述声音语料的标注以及视频语料和对所述视频语料的标注；

将基于预先设置的损失函数确定的、所述输出和所述训练样本的标注之间的损失值在所述初始语音口型生成模型中反向传播，以训练所述初始语音口型生成模型。

9.根据权利要求3所述的方法，其中，所述生成与所述输入文本对应的语音进一步包括：

从预先建立的音频数据库中，确定出与所述输入文本对应的语音；

将所确定的语音输入预先训练的口型系数生成模型，得到与所述输入文本对应的口型系数序列。