[发明专利]动画生成方法和装置

说明书

本申请实施例公开了动画生成方法和装置。所述方法的一实施例包括：响应于接收到输入文本，获取输入文本的动画标签，并得到输入文本中的词和动作之间的对应关系；生成与输入文本对应的语音；将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和所生成的语音合并，生成人物形象的动画。该实现方式可以使得生成的动画中，人物形象的动作能够自然而准确地体现输入文本所表达的含义。

技术领域

本申请实施例涉及多媒体领域，具体涉及计算机视觉领域，尤其涉及动画生成方法和装置。

背景技术

随着人工智能技术的发展，越来越多的可与人语音交互的智能产品问世。但是这些产品都缺乏直观的交互形象，在交互过程中用户只能听到声音。如果在智能产品中加入动画形象，可以让用户产生与自然人交流相似的感觉，能够提升用户的体验。为了达到让用户产生与自然人交流的感觉，需要在可交互的设备上实时的产生生动的形象，需要自然的表情、动作以及相应的与声音同步的口型动画。

现有的动画制作方式，通常需要对于人物的声音，唇动，表情和动作的设计需要进行逐帧的绘制和设计。在3D(three dimensional，三维)动画的制作过程中，对于声音和画面结合的方式的是通过配音后进行动画调整，或者根据动画进行配音的。此外，人物形象的动作、表情和唇部动作均需要通过动画师进行逐帧绘制，需要大量的劳动和时间成本。

发明内容

本申请实施例提出了动画生成方法和装置。

第一方面，本申请实施例提供了一种动画生成方法，包括：响应于接收到输入文本，获取输入文本的动画标签，并得到输入文本中的词和动作之间的对应关系；生成与输入文本对应的语音；将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和所生成的语音合并，生成人物形象的动画。

在一些实施例中，生成与输入文本对应的语音包括：解析输入文本生成音素序列；基于所生成的音素序列，合成得到与输入文本对应的语音。

在一些实施例中，生成与输入文本对应的语音还包括：确定与音素序列对应的口型系数序列；基于所得到的对应关系和语音，对预设的人物形象进行渲染，生成人物形象的动画进一步包括：将基于所得到的对应关系和口型系数序列对预设的人物形象的模型进行渲染生成的视频，以及所生成的语音合并，生成人物形象的动画。

在一些实施例中，响应于接收到输入文本，获取输入文本的动画标签，并得到输入文本中的词和动作之间的对应关系包括：将输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系；基于输入文本中的词和动画标签之间的对应关系，生成动作系数序列，并将动作系数序列作为输入文本中的词和动作之间的对应关系。

在一些实施例中，动画标签包括表情标签和动作标签，动画标签获取模型包括情感预测子模型和动作预测子模型，将输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系包括：将输入文本输入至预先训练的情感预测子模型，得到输入文本所包含的词和词的情感倾向的对应关系；基于输入文本所包含的词和词的情感倾向的对应关系确定输入文本所包含的词和预设表情标签之间的对应关系；将输入文本所包含的词和词的预设表情标签之间的对应关系，输入动作预测子模型，以得到动作系数序列，其中，动作系数序列用于指示输入文本所包含的词和词的动作标签之间的对应关系。

在一些实施例中，动作标签所指示的动作包括四肢动作、躯干动作和头部动作中的至少一者。

在一些实施例中，生成与输入文本对应的语音进一步包括：将输入文本输入预先建立的语音口型生成模型，得到与输入文本对应的语音和口型系数序列。