[发明专利]用于富于表情的化身的实时动画

权利要求书

1.一种至少部分地由处理器(900)实现的方法，所述方法包括：

至少部分地基于语音和运动数据(206、208、400)来训练一个或多个动画模型(204、406)以提供化身的一个或多个上身部分的概率运动集；

将情绪状态的一个或多个预定短语与所述一个或多个动画模型相关联(410)；

接收实时语音输入(600)；

至少部分地基于匹配所述实时语音输入(600)的至少一部分的所述一个或多个预定短语(402、604)来标识要表达(408)的情绪状态；以及

响应于所述实时语音输入(600)，通过应用所述一个或多个动画模型来生成所述化身的一个或多个上身部分的运动的动画序列(410、702)，所述运动的动画序列表达所标识的情绪状态(208、210)。

2.如权利要求1所述的方法，其特征在于，还包括：

接收个体的正面视图图像；以及

从所述正面视图图像中创建所述个体的表示以生成所述化身。

3.如权利要求1所述的方法，其特征在于，还包括：

提供对应于所述实时语音输入的语音输出；以及

至少部分地基于被同步到所述一个或多个上身部分的所述运动的动画序列的所述语音输出来构造所述化身的实时动画。

4.如权利要求1所述的方法，其特征在于，还包括至少部分地基于以下操作来强制所述实时语音输入的对齐：

提供正在说什么的转录作为所述实时语音输入的一部分；

将所述转录与语音音素和语调信息对齐；以及

标识所述语音音素和所述语调信息中与所述转录中的特定词相对应的时间片段。

5.如权利要求1所述的方法，其特征在于，还包括至少部分地基于以下操作来强制所述实时语音输入数据的对齐：

将所述实时语音输入分段成以下各项中的至少一个：单音子、双连音、半音子、音节、词素、词、短语或句子；以及

至少部分地基于波形和光谱图的视觉表示来将所述实时语音输入分成各个片段以进入强制对齐模式。

6.如权利要求1所述的方法，其特征在于，还包括：

对所述语音和运动数据进行分段；

从已分段的语音中提取语音音素和语调信息；以及

将来自所述语音和运动数据的运动迹线变换到新的坐标系。

7.如权利要求1所述的方法，其特征在于，所述情绪状态包括中性、愉快、悲伤、惊讶或愤怒中的至少一个。

8.一种系统，包括：

处理器(900)；

存储器(902)，其通信地耦合至所述处理器(900)；

训练模型模块(908)，其被存储在所述存储器(902)中并且可以在所述处理器(900)上执行，以便：

通过计算语音和上身部分运动(206、208、400)之间的关系来构造一个或多个动画模型(204、406)，所述一个或多个动画模型(204)至少部分地基于所输入的语音和运动数据(400、600)来提供一个或多个上身部分的概率运动集；以及

将情绪状态的一个或多个预定短语关联到所述一个或多个动画模型(410)。

9.如权利要求8所述的系统，其特征在于，包括存储在所述存储器中并且可以在所述处理器上执行的合成模块，所述合成模块通过从所述一个或多个上身部分的概率运动集中选择运动来合成所述一个或多个上身部分的运动的动画序列。

10.如权利要求9所述的系统，其特征在于，包括合成模块，其被存储在所述存储器中并且可以在所述处理器上执行，以便：

接收实时语音输入；

提供对应于所述实时语音输入的语音输出；以及

至少部分地基于被同步到所述一个或多个上身部分的所述运动的动画序列的所述语音输出来构造实时动画。